Что показывает метрика consumer lag?
- Что такое consumer lag?
Lag — разница между последним записанным offset и зафиксированным группой: сколько сообщений ещё не обработано. Главный показатель здоровья потребителя.
- Стабильный небольшой lag — норма
- Растущий — потребитель не успевает
- Удобнее мерить в секундах задержки
А ещё Инструменты: kafka-consumer-groups, Burrow, экспортеры Prometheus
Подробно
Небольшие колебания нормальны, а вот устойчивый рост означает, что обработка не поспевает за записью, и именно на него имеет смысл настраивать оповещение. Опасность не только в задержке: если отставание превысит срок хранения сообщений, необработанные записи будут удалены и потеряны безвозвратно.
Что хотят услышать
- Определение lag.
- Как интерпретировать.
Частые ошибки
- Оповещать на любое ненулевое значение вместо устойчивого роста.
- Недооценивать риск потери данных при большом отставании.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Задержку сети между потребителем и брокером
- ✗Время от записи сообщения в топик до его чтения любым потребителем
- ✓На сколько сообщений потребитель отстал от конца лога
- ✗Количество потребителей в группе
Что спросят дальше
- С чего начать разбор растущего отставания?
- Как число партиций ограничивает скорость обработки?
Разбор темы
- Kafka в эксплуатации
Consumer lag и его причины, ребаланс и безопасный commit, poison-сообщения, ZooKeeper → KRaft, schema evolution, изменения partitions и ключевые метрики.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.