Consumer lag стабильно растёт. Что это означает и с чего начать разбор?
- Что делать, если растёт отставание потребителя?
Lag растёт — потребление медленнее производства. Разбор: всплеск входящего потока или замедление обработки; все партиции или одна (горячий ключ); ребалансы и повторы.
- Медленная зависимость (база, внешний API) — частая причина
- Одна партиция отстаёт — горячий ключ или ядовитое сообщение
- Масштабирование — до числа партиций; дальше — партиции или параллельная обработка
А ещё Алерт по lag в секундах (время до обработки), а не только в сообщениях
Подробно
Это главная метрика здоровья потребителя, и алерт стоит вешать именно на её устойчивый рост, а не на абсолютное значение — короткие всплески нормальны. Порядок разбора: посмотреть, не выросла ли скорость записи; оценить время обработки одного сообщения и найти в нём блокирующие вызовы; проверить, не упёрлись ли вы в число партиций, поскольку потребителей в группе не может эффективно работать больше, чем партиций; убедиться, что нет постоянных ребалансировок и повторов. Растущий lag опасен не только задержкой: если он превысит срок хранения, сообщения будут удалены до обработки, то есть потеряны безвозвратно.
Что хотят услышать
- Смысл lag.
- Порядок диагностики.
- Меры: оптимизация, масштабирование, партиции.
Частые ошибки
- Алертить на любое ненулевое значение lag.
- Наращивать число потребителей сверх числа партиций.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Брокер потерял часть сообщений
- ✓Обработка медленнее притока: смотрят скорость, число consumer-ов и блокирующие вызовы
- ✗Срок хранения слишком мал: увеличить retention, чтобы потребители успевали дочитывать сообщения
- ✗Producer отправляет сообщения с ошибками сериализации
Что спросят дальше
- Что произойдёт, если lag превысит срок хранения топика?
- Как ребалансировка влияет на этот показатель?
Разбор темы
- Kafka в эксплуатации
Consumer lag и его причины, ребаланс и безопасный commit, poison-сообщения, ZooKeeper → KRaft, schema evolution, изменения partitions и ключевые метрики.
Связанные вопросы
- Что показывает метрика consumer lag? Junior
- Что произойдёт, если потребителей в consumer group больше, чем партиций в топике? Senior
- Чем session.timeout.ms отличается от max.poll.interval.ms у Kafka consumer-а? Senior
- Почему при загрузке сервера 90% время ответа растёт в разы, хотя запас ещё есть? Middle
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.