Трансформер обрабатывает последовательность токенов, и каждый токен через механизм внимания собирает информацию из других токенов — с весами, которые модель сама вычисляет. Слои внимания и полносвязные слои чередуются десятки раз.
Что важно знать
- Self-attention: запросы, ключи и значения (Q, K, V); вес внимания — насколько токен релевантен другому.
- Квадратичная сложность внимания по длине контекста — отсюда цена длинных контекстов.
- Языковые модели — декодеры: предсказывают следующий токен, видя только предыдущие.
- Энкодеры (BERT и наследники) дают эмбеддинги и используются в поиске и классификации.
- Позиционное кодирование: внимание само по себе не знает порядка слов.