Расскажите об инциденте в продакшене, который вы разбирали.
- Что такое постмортем и как вы его проводите?
- Как вы действуете, когда сервис упал?
По STAR: что сломалось и как это заметили, как восстановили работу (сначала смягчить — откат, переключение, — потом искать причину), как коммуницировали во время инцидента, что выяснил разбор причин и какие изменения сделали, чтобы не повторилось. Разбор — без поиска виноватых: ищут, почему система позволила ошибке случиться.
- Сначала восстановление, потом расследование
- Один координатор, понятный канал и регулярные короткие обновления для бизнеса
- Результат разбора — задачи с владельцами и сроками, а не документ «для галочки»
А ещё Хорошо показать, что после инцидента появился алерт или проверка, которая теперь ловит такие случаи раньше
Подробно
Senior-инженер в инциденте — тот, кто сохраняет спокойствие, сначала возвращает работоспособность и потом добивается, чтобы проблема не повторилась.
Структура разбора (постмортема):
- хронология: когда началось, когда заметили, когда восстановили;
- влияние: сколько пользователей, денег, данных;
- корневые причины и способствующие факторы;
- что сработало хорошо и что плохо в реагировании;
- действия с владельцами и сроками.
Без поиска виноватых — не значит без ответственности: если человек смог одной командой уронить прод, проблема в процессе и защите, а не только в человеке.
Пример
«Ночью резко выросли расходы на модель и задержка ассистента. Я ограничил частоту запросов на шлюзе — сервис стабилизировался за 15 минут. По трассам нашли, что после обновления агент в части диалогов зацикливался на вызове инструмента поиска. Откатили версию промпта. На разборе выяснили, что лимита шагов у агента не было, а алерта на стоимость — тоже. Добавили лимит шагов, алерт на стоимость в час и пример с зацикливанием в набор оценки. Через месяц алерт поймал похожую проблему на стейдже».
Что хотят услышать
- Восстановление прежде расследования.
- Коммуникация во время инцидента.
- Разбор без обвинений и конкретные изменения.
Частые ошибки
- История, где виноват кто-то другой.
- Нет системных изменений после инцидента.
- Героизм вместо процесса.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Сначала найти разработчика, который выкатил ошибку
- ✓Сначала восстановить работу, затем разбор причин без поиска виноватых
- ✗Исправлять причину, пока сервис лежит, без отката
- ✗Не сообщать об инциденте, если удалось быстро исправить
Разбор темы
- Ведение задачи до результата — постановка, оценка, срыв сроков и инциденты
Как довести расплывчатую задачу до понятной постановки, разбить её и оценить, что делать, если не успеваете, как разбирать инциденты и рассказывать об ошибках.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.