Логи, метрики и трассировка, SLO и алерты — как видеть, что происходит с сервисом.
Практика. Перевести логи сервиса в JSON с trace_id и уровнем.
Практика. Добавить в сервис метрики Prometheus, трассировку OpenTelemetry и дашборд в Grafana; найти по трассе самый медленный участок запроса.
Практика. Определить SLO для двух эндпоинтов, настроить алерты по burn rate и проверить их на учебном инциденте.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Prometheus сам опрашивает (pull) эндпоинты /metrics целей, найденных через service discovery, и хранит временные ряды. Типы: counter — только растёт (запросы, ошибки), смотрят скорость через rate(); gauge — текущее значение (память, длина очереди); histogram…
Полный разборПриложения пишут структурированные логи (JSON) в stdout; агент на узле (Fluent Bit, Vector, Promtail) собирает их, добавляет метаданные (под, namespace, сервис) и отправляет в хранилище с поиском. ELK/OpenSearch индексирует весь текст — мощный поиск, но…
Полный разборАлерт должен означать «пользователям плохо или скоро будет плохо, и человеку нужно действовать». Будить по симптомам (ошибки, задержки, доступность глазами пользователя), а не по причинам (CPU 90%) — причины на дашбордах. Основа — SLI (доля успешных и быстрых…
Полный разборРаспределение задержек сильно скошено: большинство запросов быстрые, но есть длинный хвост. Среднее его прячет, а p95/p99 показывает, что видят самые невезучие пользователи.
Полный разборМетрики — дешёвые агрегаты для алертов и трендов; логи — подробности событий; трейсы — путь одного запроса через сервисы.
Полный разборМониторинг отвечает на заранее известные вопросы (дашборды и алерты под известные отказы). Наблюдаемость — свойство системы отвечать на непредусмотренные вопросы по её телеметрии.
Полный разборЛоги — события, по которым потом разбирают проблему. Уровни: ERROR — что-то сломалось и требует внимания, WARN — подозрительно, но работаем, INFO — значимые бизнес-события (заказ создан), DEBUG — подробности для отладки, в проде обычно выключены. Писать…
Полный разборsystemd — система инициализации и менеджер сервисов. Сервис описывают unit-файлом (/etc/systemd/system/app.service): команда запуска, пользователь, перезапуск (Restart=on-failure), зависимости, лимиты. Управление: systemctl start|stop|restart|status|enable…
Полный разборgrep "текст" файл — строки с совпадением; -r — рекурсивно по каталогу, -i — без учёта регистра, -n — номера строк, -c — число совпадений, -v — строки без совпадения. Пайп | передаёт вывод одной команды на вход другой: grep ERROR app.log | wc -l — посчитать…
Полный разборЧем наблюдаемость отличается от мониторинга, три сигнала и что каждый умеет, RED и USE, почему среднее врёт, взрыв кардинальности, SLI/SLO/error budget и алерты на симптомы.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.