NB AI • Systems & Infrastructure Engineering Lab

Лавина TIME_WAIT сокетов в межсервисном взаимодействии: исчерпание пула портов

DevOps & SRE
• 3 мин • Денис

Как постоянное открытие коротких HTTP-соединений между микросервисами привело к исчерпанию портов и лавине 500 ошибок.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Nginx upstream keepalive starvation: почему без директивы keepalive сервер душит бэкенд

DevOps & SRE
• 3 мин • Денис

Как отсутствие пула keepalive-соединений к апстримам приводит к исчерпанию эфемерных портов, росту TIME_WAIT и деградации производительности в 4 раза.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Исчерпание inode на ext4: 10 миллионов сессионных файлов в /tmp и паралич диска

Post-mortems & War Stories
• 3 мин • Денис

История о том, как свободные 400 ГБ на диске не спасли продакшен от ошибки «No space left on device» из-за 100% утилизации таблицы inode.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Лаг репликации MySQL 5.7: дедлок однопоточного worker'а на fsync и binlog flush

Post-mortems & War Stories
• 3 мин • Денис

Разбор аварии в пятницу вечером: как один неоптимальный пакетный UPDATE в 2 миллиона строк парализовал реплику из-за блокировок doublewrite buffer и sync_binlog=1.

Читать статью →