Как обычно организуют хранение метрик на длинном горизонте?
- Как хранить метрики на годы?
Многоуровневое разрешение: секунды — за последние дни, минуты — за месяцы, часы — за годы, затем удаление по политике хранения.
- Downsampling — агрегаты при переходе на грубый уровень
- Retention на каждом уровне
- Старые уровни — в дешёвом объектном хранилище (Thanos, Mimir)
А ещё Перцентили за длинный период — из гистограмм, а не усреднением
Подробно
Логика проста: детализация нужна для разбора недавнего инцидента, а для годового тренда достаточно часовых агрегатов. Хранить всё в полном разрешении означает платить за данные, которые никто не запросит, — а объёмы у метрик растут линейно и быстро. Поэтому настраивают прореживание и срок хранения, часто автоматически через непрерывные агрегаты, которые пересчитываются по мере поступления данных. Практический нюанс, о котором стоит сказать: агрегировать нужно осознанно — среднее по часу скрывает всплески, поэтому вместе с ним обычно сохраняют максимум и перцентили, иначе аномалии исчезнут из истории.
Что хотят услышать
- Уровни разрешения и сроки.
- Агрегаты и удаление.
- Дешёвое долгое хранилище — плюс.
Частые ошибки
- Хранить только среднее и потерять всплески.
- Откладывать настройку срока хранения до исчерпания диска.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Все данные хранят в исходном разрешении, а старые переносят в реляционную базу
- ✗Данные старше суток удаляют целиком
- ✓Свежие данные — полностью, старые — агрегатами, совсем старые удаляют
- ✗Хранят только агрегаты, исходные точки не сохраняют
Что спросят дальше
- Почему при прореживании важно сохранять перцентили и максимум?
- Что такое непрерывные агрегаты?
Разбор темы
- Базы данных временных рядов
Чем особенны time-series, модель measurement/tags/fields, сжатие и chunking, downsampling/retention и когда хватит обычной БД.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.