Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API?
- Когда разворачивать открытую модель у себя?
Начинать с сильной модели по API, чтобы понять потолок качества на своей задаче, собрать оценочный набор, затем пробовать модели дешевле и меньше и сравнивать на нём. Своя открытая модель оправдана при требованиях к данным (контур компании, ПДн), больших и стабильных объёмах, необходимости дообучения или жёстких требованиях к задержке.
- Маршрутизация: простые запросы — маленькой модели, сложные — большой
- Своя модель — это GPU, инференс-сервер, мониторинг, обновления: полная стоимость владения
- Публичные бенчмарки плохо предсказывают качество на конкретной задаче
А ещё Привязка к одному провайдеру — риск; абстракция над API упрощает переключение
Подробно
Критерии:
- качество на своей задаче — только по своему оценочному набору;
- стоимость — цена за токены × объём, либо стоимость GPU и эксплуатации;
- задержка — TTFT и скорость генерации, особенно для голоса и интерфейсов реального времени;
- данные и комплаенс — можно ли отправлять данные внешнему провайдеру, где расположены серверы;
- контроль — дообучение, стабильность версии, независимость от изменений провайдера.
Типичная эволюция продукта: прототип на лучшей модели по API → оценочный набор → оптимизация промптов → маршрутизация и кэширование → для массовых узких задач — маленькая или дистиллированная модель, иногда своя.
Своя модель: vLLM или аналог, квантизация, автоскейл на GPU, свои обновления и безопасность. Окупается при большом стабильном трафике или жёстких требованиях к данным.
Что хотят услышать
- Порядок выбора: потолок качества → оценка → удешевление.
- Критерии API против своей модели.
- Маршрутизация и полная стоимость владения.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Начать с самой маленькой модели и не переходить на большую
- ✗Своя открытая модель всегда дешевле с учётом GPU и эксплуатации
- ✓Сильная модель по API для потолка, оценочный набор, затем дешевле
- ✗Выбирать модель по позиции в публичном рейтинге моделей
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.