Как настроить алерты, чтобы дежурные не выгорали, а реальные проблемы не пропускались?
- Что такое SLI и SLO?
- Что такое burn rate?
Алерт должен означать «пользователям плохо или скоро будет плохо, и человеку нужно действовать». Будить по симптомам (ошибки, задержки, доступность глазами пользователя), а не по причинам (CPU 90%) — причины на дашбордах. Основа — SLI (доля успешных и быстрых запросов) и SLO (цель, например 99,9% за 30 дней); алерт срабатывает по скорости сжигания бюджета ошибок (burn rate).
- Каждый алерт — с инструкцией (runbook) и владельцем
- Срочное — пейджер, несрочное — тикет
- Регулярно разбирать: алерт сработал, а действий не было — удалить или переделать
А ещё Многооконный burn rate: быстрый (1 ч) ловит аварии, медленный (6 ч) — тихую деградацию
Подробно
Бюджет ошибок. SLO 99,9% за 30 дней — допустимо 0,1% неудачных запросов, это около 43 минут полной недоступности. Burn rate 1 — бюджет кончится ровно к концу периода; burn rate 14,4 — за 2 дня.
Пример правил:
| окна | burn rate | реакция |
|---|---|---|
| 1 ч и 5 мин | > 14,4 | разбудить: за час сгорело 2% бюджета |
| 6 ч и 30 мин | > 6 | разбудить |
| 3 дня и 6 ч | > 1 | тикет |
Короткое окно в паре подтверждает, что проблема ещё продолжается, — алерт быстро гаснет после устранения.
Гигиена алертов:
- алерты без действий удаляют;
- группировка и подавление в Alertmanager: падение БД не должно порождать сотню алертов зависимых сервисов;
- отслеживать число ночных вызовов на дежурного;
- разбор инцидентов без поиска виноватых.
Что хотят услышать
- Симптомы против причин.
- SLI, SLO, бюджет ошибок и burn rate.
- Гигиена: runbook, удаление шумных алертов, группировка.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Будить дежурного по каждому превышению CPU 90% и памяти 80% на узлах
- ✗Алертить по каждой ошибке в логах, чтобы ничего не пропустить
- ✓По симптомам — скорости сжигания бюджета ошибок SLO
- ✗Поставить SLO 100% и алертить при любом отклонении от него
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.