Зачем компании единый шлюз к LLM и что в нём должно быть?
- Что такое LLM gateway?
- Как организовать доступ нескольких команд к языковым моделям?
Когда LLM используют несколько команд, каждая заново решает одни задачи: ключи, лимиты, повторы, учёт затрат, логирование, защиту данных. Шлюз — единая точка доступа к моделям: единый API (часто совместимый с OpenAI), маршрутизация между провайдерами и своими моделями, резервирование, квоты и учёт затрат по командам, логирование и трассировка, маскирование персональных данных, кэширование, политики допустимых моделей.
- Ключи провайдеров не раздаются командам — только токены шлюза
- Смена провайдера или модели — конфигурацией, без правок в сервисах
- Готовые решения: LiteLLM, Portkey, облачные шлюзы; часто дорабатывают своё
А ещё Риск — единая точка отказа и лишняя задержка: шлюз должен быть отказоустойчивым и лёгким
Подробно
Функции:
- аутентификация сервисов, квоты и бюджеты на команду, оповещения о перерасходе;
- маршрутизация: по модели, по стоимости, по доступности; резервный провайдер при ошибках;
- повторы, таймауты, ограничение параллельности под лимиты провайдеров;
- логирование запросов и ответов с маскированием, трассировка, метрики задержки и ошибок;
- кэш префикса и семантический кэш (опционально);
- политики: какие модели разрешены для каких данных (персональные данные — только российский провайдер или свой контур);
- централизованные guardrails.
Компромиссы: дополнительный сетевой переход и задержка; шлюз должен проксировать потоковые ответы без буферизации; поддержка специфичных возможностей провайдеров (инструменты, кэш, структурный вывод) отстаёт от SDK.
Когда не нужен: одна команда, один провайдер, один сервис — тонкой обёртки в коде достаточно.
Что хотят услышать
- Проблемы, которые решает шлюз при нескольких командах.
- Ключевые функции: маршрутизация, квоты, учёт, логирование, политики данных.
- Компромиссы и когда шлюз избыточен.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Раздать каждой команде собственные ключи провайдеров — так проще и быстрее
- ✓Единый API, резерв провайдеров, квоты и затраты, логи, маскирование ПДн
- ✗Шлюз нужен только для кэширования ответов
- ✗Шлюз заменяет оценку качества и guardrails в продуктах: все проверки делаются в одном месте
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.