Как понять, что задачу не нужно решать с помощью LLM?
- Когда LLM — плохой выбор?
- Чем заменить LLM в продукте?
LLM нужна, когда вход — свободный текст или неструктурированные данные и ответ нельзя получить правилом. Если задача решается правилом, поиском, SQL или классической моделью, они будут дешевле, быстрее, детерминированнее и проще в проверке. Признаки лишней LLM: вход структурирован, допустим только один правильный ответ, нужна объяснимость по закону, огромный поток запросов с жёсткой задержкой.
- Классификация по тысячам размеченных примеров — дообученный энкодер или бустинг дешевле на порядки
- Поиск по каталогу — поисковый движок, LLM максимум переформулирует запрос
- Расчёты и правила — код, а не модель
А ещё Частая схема: LLM размечает данные или обрабатывает редкие сложные случаи, основной поток — простая модель
Подробно
Вопросы, которые стоит задать:
- Какой вход: свободный текст или поля формы?
- Есть ли один верный ответ, который можно вычислить?
- Какая цена ошибки и нужна ли объяснимость решения?
- Какой объём запросов и допустимая задержка?
- Есть ли размеченные данные для классической модели?
Примеры. Определить категорию обращения при 20 тысячах размеченных примеров — классификатор на эмбеддингах. Посчитать скидку — правило. Найти товар — поиск с фильтрами. Ответить на свободный вопрос по документации — здесь LLM оправдана.
Гибрид. Правила и простая модель обрабатывают основной поток, LLM подключается для неуверенных и нестандартных случаев. Так снижаются стоимость и задержка, а качество сохраняется.
Что хотят услышать
- Критерии: вход, детерминированность, цена ошибки, объём.
- Альтернативы: правило, поиск, SQL, классическая модель.
- Гибридные схемы.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Вход структурирован и ответ вычисляется правилом
- ✓Поток огромный, задержка жёсткая, а размеченных примеров тысячи — классическая модель дешевле
- ✗Нужно отвечать на свободные вопросы пользователей по документации
- ✓Решение должно быть объяснимым и детерминированным
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.