Чем session.timeout.ms отличается от max.poll.interval.ms у Kafka consumer-а?
- Почему потребитель выпадает из группы при долгой обработке?
session.timeout.ms — сколько ждать heartbeat от фонового потока: ловит «мёртвый» процесс. max.poll.interval.ms — максимум времени между вызовами poll(): ловит «живой, но застрявший» в обработке.
- Долгая обработка пачки > max.poll.interval.ms (5 мин) — потребитель исключается, ребаланс, повторная обработка
- Лечение: меньше max.poll.records, быстрее обработка, увеличить интервал, вынести долгие задачи
- Heartbeat идёт в отдельном потоке — живой процесс не выпадет по session.timeout
А ещё Признак проблемы — бесконечные ребалансы и повторная обработка тех же сообщений
Подробно
Heartbeat-поток шлёт сигналы «я жив» отдельно от обработки; если их нет дольше session.timeout.ms — группа считает consumer упавшим и запускает rebalance. Но даже при живых heartbeat consumer обязан регулярно звать poll(): если обработка одной пачки заняла больше max.poll.interval.ms, брокер решает, что consumer завис, и исключает его из группы (тоже rebalance, плюс возможные дубли). Поэтому медленную обработку лечат уменьшением max.poll.records или выносом работы, а не раздуванием таймаутов.
Что хотят услышать
- Различие двух таймаутов и что каждый обнаруживает.
- Симптомы и лечение долгой обработки.
Частые ошибки
- Думать, что heartbeat продлевается обработкой (он независим).
- Ставить огромный max.poll.interval.ms вместо уменьшения размера пачки.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Это синонимы, просто разные имена одной настройки
- ✗session.timeout.ms — таймаут запроса к брокеру, max.poll.interval.ms — интервал heartbeat
- ✗Оба определяют, сколько хранятся сообщения в топике
- ✓session — сколько ждать heartbeat; max.poll.interval — предел между вызовами poll()
Что спросят дальше
- Что произойдёт при превышении max.poll.interval.ms?
- Как уменьшить риск долгой обработки?
Разбор темы
- Kafka в эксплуатации
Consumer lag и его причины, ребаланс и безопасный commit, poison-сообщения, ZooKeeper → KRaft, schema evolution, изменения partitions и ключевые метрики.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.