Этап 6 из 18 · ≈ 6 ч

Сообщения, роли и параметры

Основа с Junior

Как устроен запрос к чат-модели, системный промпт, история диалога и расход токенов.

Что важно знать

  • Системный промпт задаёт роль, правила и формат; пользовательские сообщения — данные и вопросы.
  • История: длинный диалог дорожает с каждым сообщением — обрезают старое, сжимают в резюме, используют кэширование префикса.
  • Параметры: temperature, max_tokens (лимит ответа), stop-последовательности.
  • Ответ содержит причину остановки: закончил, упёрся в лимит токенов, вызвал инструмент — обрабатывать каждую.
  • Ошибки: 429 (превышен лимит запросов) и 5xx — повтор с экспоненциальной паузой; таймауты обязательны.
  • Ключи API — только на сервере, никогда во фронтенде.
  • Абстракция над провайдерами (свой тонкий слой или LiteLLM) упрощает смену модели.

Критерии освоения

Junior ≈ 6 ч

  • Отправляет запрос к API модели с системным промптом и историей диалога
  • Обрабатывает причину остановки ответа и расход токенов
  • Хранит ключ API на сервере, а не в клиентском коде

Практика. Сделать консольный чат с историей диалога и выводом стоимости каждого ответа.

Middle ≈ 4 ч

  • Реализует повторы на 429 и 5xx с экспоненциальной паузой и таймауты
  • Делает тонкую абстракцию над провайдерами для смены модели конфигурацией

Практика. Написать клиент с повторами, таймаутами и переключением между двумя провайдерами одной настройкой, покрыть тестами с подменой ответов.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое токены и контекстное окно LLM?Junior

Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.

Полный разбор
Что такое temperature и top-p у языковой модели?Junior

Параметры выборки следующего токена: temperature делает распределение острее или площе, top-p оставляет только самые вероятные токены с суммарной вероятностью p.

Полный разбор
Как устроен запрос к чат-API модели — роли сообщений, причина остановки, расход токенов?Junior

Запрос — список сообщений с ролями: system (правила и роль модели), user (запросы), assistant (прошлые ответы модели). Модель не хранит диалог: приложение каждый раз отправляет историю целиком. Ответ содержит текст, причину остановки (закончила сама, упёрлась…

Полный разбор
Как сделать надёжные вызовы API модели — повторы, таймауты, смена провайдера?Middle

429 (превышен лимит) и 5xx (сбой провайдера) повторяют с экспоненциальной паузой и случайным разбросом, учитывая заголовок Retry-After; ошибки 4xx запроса не повторяют. У каждого вызова — таймаут (на соединение и на общий ответ), у повторов — общий бюджет…

Полный разбор
Как получить потоковый ответ модели и показать его пользователю?Junior

В запросе включают потоковый режим (stream), и API отдаёт ответ частями по протоколу Server-Sent Events: каждое событие — строка «data: {…}» с очередным фрагментом текста (delta). Клиент добавляет фрагменты к уже показанному тексту, а последнее событие…

Полный разбор
Как оценить стоимость запроса к модели в токенах?Junior

Посчитать входные токены (системный промпт + история + документы + вопрос) и выходные (ответ) токенизатором той модели, которую используете, и умножить на цены провайдера — входные и выходные токены обычно стоят по-разному, выходные дороже. Месячная стоимость…

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования