Что делает log compaction в Kafka и для чего применяется?

Это принципиально иная политика хранения, чем удаление по времени, и её легко перепутать со сжатием — здесь речь про версии записей, а не про алгоритм компрессии. Применение прямое: топик становится долговременным журналом текущего состояния, и новый потребитель, прочитав его с начала, получает актуальную картину без обращения к исходной базе. На этом построены внутренние топики состояния Kafka Streams и типичные справочники, реплицируемые между сервисами. Практические детали: удаление выражается записью с тем же ключом и пустым значением — надгробием, которое хранится ограниченное время, поэтому потребители должны успеть его прочитать; и уплотнение не мгновенно, поэтому дубли ключей какое-то время сосуществуют.