Этап 14 из 18 · ≈ 8 ч

Продуктовые навыки ИИ-инженера

Основа с Middle

Формулировка задачи, экономика LLM-функции и доказательство эффекта.

Технически сильная LLM-функция может не окупиться, не решить задачу пользователя или создать риски, которые никто не посчитал. ИИ-инженер, который говорит с бизнесом на языке метрик и денег, ценится выше.

Что важно знать

  • Задача, а не технология: «сократить время ответа поддержки», а не «внедрить LLM». Иногда правило или поиск решают её дешевле.
  • Критерии качества до разработки: что считается хорошим ответом и какая доля ошибок допустима.
  • Экономика: стоимость на запрос и на единицу результата против выгоды; рост затрат с ростом аудитории.
  • Цена ошибки: где ошибка безобидна (черновик письма), а где дорога (медицина, деньги, юридические ответы) — там нужен человек в контуре.
  • Доказательство эффекта: пилот, A/B-тест, бизнес-метрика.

Критерии освоения

Middle ≈ 8 ч

  • Переводит запрос бизнеса в измеримую задачу с критериями качества и набором примеров
  • Считает стоимость функции на пользователя и на единицу результата

Практика. Для функции «автоответы в поддержке» сформулировать метрики качества, собрать 50 примеров и посчитать стоимость на одно обращение для двух моделей.

Senior ≈ 10 ч

  • Определяет, где LLM не нужна и задачу решает правило, поиск или классическая модель
  • Планирует запуск с метриками эффекта и порогами остановки
  • Защищает решение перед руководством цифрами качества, стоимости и рисков

Практика. Подготовить одностраничное обоснование запуска LLM-функции — эффект, стоимость, риски, метрики, план пилота и критерии остановки.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как посчитать экономику LLM-функции и доказать, что она окупается?Senior

Считать стоимость на единицу результата, а не на запрос: сколько стоит одно решённое обращение, обработанный документ, сгенерированный отчёт — с учётом токенов, повторов, инфраструктуры, ручной проверки и ошибок. Сравнить с текущей стоимостью того же…

Полный разбор
Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?Middle

Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и training-serving skew. Окончательное решение — онлайн-эксперимент: A/B-тест по бизнес-метрике…

Полный разбор
Бизнес просит «сделать ИИ для поддержки». Как превратить такой запрос в измеримую задачу?Middle

Уточнить какую работу делает функция и для кого (черновик ответа оператору, автоответ клиенту, классификация обращений), какой результат считается успехом (доля обращений без оператора, время ответа, оценка клиента), что недопустимо (неверные обещания по…

Полный разбор
Как понять, что задачу не нужно решать с помощью LLM?Senior

LLM нужна, когда вход — свободный текст или неструктурированные данные и ответ нельзя получить правилом. Если задача решается правилом, поиском, SQL или классической моделью, они будут дешевле, быстрее, детерминированнее и проще в проверке. Признаки лишней…

Полный разбор
Как снизить стоимость и задержку приложения на LLM?Middle

Платим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.

Полный разбор
Как оценивать качество ответов LLM?Middle

Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования