Чем модели-энкодеры отличаются от моделей-декодеров?
- Чем BERT отличается от GPT?
- Какие модели используют для эмбеддингов?
Энкодер (BERT и его потомки) видит весь текст сразу в обе стороны и выдаёт представление текста — им удобно классифицировать, искать и строить эмбеддинги. Декодер (GPT, Llama, Qwen и другие чат-модели) видит только предыдущие токены и обучен предсказывать следующий — им удобно генерировать текст. Есть и энкодер-декодер (T5, модели перевода): энкодер читает вход, декодер пишет выход.
- Энкодеры маленькие и быстрые — их выгодно дообучать под классификацию
- Современные LLM почти все — декодеры
- Модели эмбеддингов чаще всего энкодеры, но бывают и на основе декодеров
А ещё Выбор: генерировать — декодер; классифицировать или искать — часто энкодер дешевле
Подробно
Внимание. В энкодере каждый токен смотрит на все токены (двунаправленное внимание). В декодере — только на предыдущие (маскированное, или каузальное, внимание): иначе при обучении он «подсматривал» бы ответ.
Обучение:
- энкодер — восстановление скрытых слов в тексте;
- декодер — предсказание следующего токена.
Применение в продукте:
- классификация обращений — дообученный энкодер;
- поиск — энкодер эмбеддингов плюс реранкер;
- ответ пользователю — декодер-LLM.
Что хотят услышать
- Двунаправленное и каузальное внимание.
- Задачи энкодеров и декодеров.
- Примеры моделей.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Энкодер видит текст в обе стороны, декодер — только предыдущие токены
- ✗Энкодеры генерируют текст, а декодеры строят эмбеддинги
- ✗Энкодеры вроде GPT генерируют текст по одному токену, а декодеры вроде BERT строят эмбеддинги, видя текст целиком
- ✗Декодер видит весь текст сразу, включая будущие токены
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.