Как consumer group в Kafka масштабирует потребление?

Как работает. Потребители с одинаковым group.id образуют группу. Координатор группы на брокере назначает каждому подмножество партиций (стратегии range, round-robin, sticky, cooperative-sticky). Каждая партиция — ровно одному потребителю группы, и он обрабатывает её сообщения по порядку.

Масштабирование:

• больше потребителей — меньше партиций на каждого и выше параллелизм;
• потребителей больше, чем партиций, — лишние простаивают;
• нужно больше параллелизма, чем партиций, — увеличить число партиций (с последствиями для порядка по ключу) или распараллелить обработку внутри потребителя (по ключу, чтобы сохранить порядок).

Несколько групп — механизм pub/sub: сервис уведомлений и сервис аналитики читают тот же топик своими группами, каждая получает всё.

Ребаланс при изменении состава группы приостанавливает обработку; cooperative-sticky переназначает только нужные партиции.

Выбор числа партиций: по целевой пропускной способности (пропускная способность топика / пропускная способность одного потребителя) с запасом на рост.