Применение критических заплаток безопасности к работающему ядру без прерывания пользовательских TCP-сессий.
#sre
Инженерные статьи и post-mortem разборы по технологии sre.
Материалов: 15Как правило Nginx return 301 https://$host заблокировало валидацию Let's Encrypt и привело к истечению сертификата.
Борьба с отказами аллокации страниц высокого порядка (high-order page allocation failures) через min_free_kbytes.
Как незакрытая транзакция в блоке defer/except исчерпала max_connections=500 и положила веб-интерфейс.
Разбор директив RateLimitIntervalSec и RateLimitBurst в journald.conf при возникновении лог-шторма.
Как аварийный сброс кэша в режим Write-Through мгновенно обрушил транзакции баз данных и как настроить мониторинг storcli.
Почему брокер перестает принимать сообщения от продюсеров и как настроить vm_memory_high_watermark.paging_ratio.
Как микросервисы без DNS-кэширования генерировали 180 000 запросов в секунду к локальному агенту Consul.
Как переименовывать колонки и разделять таблицы под активной нагрузкой 20 000 RPS без блокировки клиентов.
Как настроить мягкое троттливание памяти через MemoryHigh вместо мгновенного расстрела процесса через OOM killer.
Разбор cooperative sticky rebalance, параметров max.poll.interval.ms и heartbeat.interval.ms в высоконагруженных consumer groups.
Разбор аварийного autovacuum to prevent wraparound: как агрессивный вакуум положил IOPS на SSD и заблокировал DDL.
Разбор инцидента, когда ядро Linux при нехватке памяти выбрало жертвой не раздувшийся Java-процесс, а легковесный агент мониторинга.
Как постоянное открытие коротких HTTP-соединений между микросервисами привело к исчерпанию портов и лавине 500 ошибок.
История о том, как свободные 400 ГБ на диске не спасли продакшен от ошибки «No space left on device» из-за 100% утилизации таблицы inode.