Как посчитать экономику LLM-функции и доказать, что она окупается?
- Как оценить ROI внедрения LLM?
Считать стоимость на единицу результата, а не на запрос: сколько стоит одно решённое обращение, обработанный документ, сгенерированный отчёт — с учётом токенов, повторов, инфраструктуры, ручной проверки и ошибок. Сравнить с текущей стоимостью того же результата (время сотрудника, конверсия). Эффект доказывать экспериментом на бизнес-метрике, а не демонстрацией.
- Стоимость: токены × запросы на результат + поиск + инфраструктура + люди в контуре
- Цена ошибки: сколько стоит неверный ответ и как часто он случается
- Рост аудитории увеличивает затраты линейно — в отличие от обычного кода
А ещё Пороги остановки пилота заранее: какой эффект считать неуспехом
Подробно
Пример. Оператор поддержки стоит условно 800 рублей в час и решает 8 обращений — 100 рублей за обращение. Ассистент закрывает 40% обращений по 3 рубля за диалог, остальные передаёт оператору с резюме, экономя ему 20% времени. Экономия на 10 тысяч обращений: 4 000 × 97 + 6 000 × 20 = около 508 тысяч рублей минус стоимость разработки и поддержки.
Что учесть:
- доля задач, которые реально закрываются без человека, по пилоту;
- стоимость ошибок: компенсации, отток, юридические риски;
- затраты на оценку качества, разбор и поддержку промптов;
- изменения цен провайдеров.
Доказательство: A/B-тест или поэтапный запуск по сегментам с бизнес-метрикой (время решения, CSAT, конверсия), порогами успеха и остановки, определёнными до старта.
Что хотят услышать
- Стоимость на единицу результата и полный учёт затрат.
- Сравнение с текущим процессом и цена ошибки.
- Эксперимент с заранее заданными критериями.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Стоимость на единицу результата против текущей и эксперимент
- ✗Цена одного запроса к API, умноженная на число запросов в месяц
- ✗Умножить цену одного запроса к API на число запросов в месяц и сравнить с бюджетом — если влезает, функция окупается
- ✗Достаточно сравнить тарифы провайдеров и выбрать самый дешёвый
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.