Что такое temperature и top-p у языковой модели?
- Как сделать ответ LLM более предсказуемым?
- Почему модель отвечает по-разному на один и тот же запрос?
Параметры выборки следующего токена: temperature делает распределение острее или площе, top-p оставляет только самые вероятные токены с суммарной вероятностью p.
- Низкая температура — предсказуемо и сухо (извлечение данных, код), высокая — разнообразно (идеи, тексты)
- temperature 0 почти детерминирована, но совпадение ответов не гарантировано
А ещё Обычно меняют что-то одно: либо температуру, либо top-p
Подробно
На каждом шаге модель выдаёт вероятности для всех токенов. Дальше токен нужно выбрать — это и настраивают параметры.
- Temperature — делит «сырые» оценки модели перед превращением в вероятности. Меньше единицы — разрыв между вероятными и маловероятными токенами растёт, ответы стабильнее. Больше — распределение выравнивается, ответы разнообразнее, но растёт риск бессмыслицы. Около нуля — почти всегда берётся самый вероятный токен (жадная выборка).
- Top-p (nucleus sampling) — сортируем токены по вероятности и оставляем минимальный набор, сумма вероятностей которого не меньше p (например, 0.9). Отбрасываются «хвосты» маловероятных вариантов.
- Top-k — оставить k самых вероятных токенов.
Почему ответы разные: выбор случайный, даже при низкой температуре. Детерминизм дополнительно ломают особенности вычислений на GPU и пакетная обработка запросов на стороне провайдера.
Практика: для извлечения данных, классификации, кода — низкая температура и строгий формат вывода; для генерации идей — повыше. Для воспроизводимых тестов промптов — фиксировать параметры и прогонять несколько раз.
Что хотят услышать
- Это параметры выбора токена, а не «креативность модели» вообще.
- Как каждый параметр влияет на распределение.
- Когда низкая, когда высокая температура.
- temperature 0 не гарантирует одинаковых ответов.
Частые ошибки
- Считать, что низкая температура устраняет галлюцинации.
- Одновременно агрессивно крутить temperature и top-p.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Temperature 0 гарантирует полностью одинаковые ответы
- ✗Высокая temperature лучше для извлечения данных и кода
- ✗Top-p ограничивает длину ответа в токенах
- ✓Temperature острит или сглаживает распределение, top-p режет хвост
Что спросят дальше
Разбор темы
- Как устроена языковая модель — токены, контекст и генерация
Что на самом деле делает LLM, почему она ошибается, как считаются токены и стоимость и как выглядит запрос к API модели.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.