Что важно знать
- TF-IDF + линейная модель — сильная дешёвая базовая линия.
- Энкодеры, обученные на русском, для качества.
- LLM — быстрый старт без разметки; схема «LLM размечает — маленькая модель работает».
Этап 8 из 14 · ≈ 10 ч
Тексты
Полезно знать с Middle
Классификация и извлечение из текстов — TF-IDF, энкодеры и LLM.
Критерии освоения
Middle ≈ 10 ч
- Строит классификатор текстов с базовой линией на TF-IDF и улучшает его эмбеддингами или энкодером
- Выбирает между классическим ML, дообученным энкодером и LLM по разметке и стоимости
Практика. Классифицировать отзывы на русском тремя способами — TF-IDF, эмбеддинги, LLM с примерами — и сравнить качество и стоимость.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеКак решить задачу классификации текстов — классическим ML, дообучением BERT или LLM?Middle
Три уровня, выбор — по объёму разметки, требованиям к качеству и стоимости: TF-IDF + линейная модель — быстрая и дешёвая базовая линия, хороша при тысячах размеченных примеров; эмбеддинги или дообученный BERT-подобный энкодер — лучшее качество на русском при…
Полный разборЧто такое эмбеддинги?Junior
Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.
Полный разборКак работает токенизация в LLM и что такое BPE?Middle
BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним токеном, редкие разбиваются на части. Модель видит номера токенов, а не буквы.
Полный разборЧем поиск по смыслу отличается от поиска по ключевым словам?Junior
Поиск по ключевым словам (полнотекстовый, BM25) находит документы, где встречаются слова запроса (с учётом форм слов): точен на кодах, артикулах, именах, но не находит перефразирование («не приходит смс» против «нет кода подтверждения»). Поиск по смыслу…
Полный разборКак выбрать модель эмбеддингов для поиска по русскоязычным документам?Middle
Начать с публичных рейтингов (MTEB и его русскоязычная часть) для короткого списка кандидатов, а решать замером на своих данных: набор пар «вопрос → нужный фрагмент», метрики recall@k и MRR. Учитывать размерность (память индекса), максимальную длину входа…
Полный разборЧем модели-энкодеры отличаются от моделей-декодеров?Junior
Энкодер (BERT и его потомки) видит весь текст сразу в обе стороны и выдаёт представление текста — им удобно классифицировать, искать и строить эмбеддинги. Декодер (GPT, Llama, Qwen и другие чат-модели) видит только предыдущие токены и обучен предсказывать…
Полный разбор
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.