Почему модель не знает о недавних событиях и как это компенсировать?
- Что такое дата среза знаний модели?
- Как дать модели актуальную информацию?
Модель выучила данные до даты среза обучения и после этого не обновляется: о более поздних событиях, ценах, версиях библиотек она не знает или уверенно отвечает устаревшим. Компенсируют, давая свежие данные в контексте: поиск по базе знаний или вебу (RAG), инструменты (API курсов, каталога, погоды), подстановка текущей даты в системный промпт.
- Модель может не знать даже собственную дату среза точно
- Дообучение для свежих фактов — дорого и медленно, обычно используют RAG
- Ответы о версиях библиотек и API особенно часто устаревшие
А ещё Без текущей даты в промпте модель неверно считает «сколько дней осталось»
Подробно
Почему так. Обучение модели длится месяцы и стоит дорого, поэтому знания фиксируются на момент сбора корпуса. Между срезом и выпуском модели проходит ещё несколько месяцев.
Что делать в продукте:
- факты, которые меняются, — только через поиск или инструменты;
- текущая дата и часовой пояс — в системном промпте;
- просить модель опираться на переданный контекст и говорить, если данных нет;
- для кода — передавать документацию нужной версии библиотеки.
Что хотят услышать
- Дата среза и её последствия.
- Компенсация через контекст: поиск, инструменты, дата.
- Почему не дообучение.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Модель обновляет знания из интернета при каждом запросе
- ✗Чтобы модель знала новости, её дообучают каждый день
- ✓Знания до даты среза; свежее — через поиск и инструменты, дату — в промпте
- ✗Модель знает всё до даты запроса, но забывает редкие факты; помогает просьба отвечать точнее
Разбор темы
- Как устроена языковая модель — токены, контекст и генерация
Что на самом деле делает LLM, почему она ошибается, как считаются токены и стоимость и как выглядит запрос к API модели.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.