Как решить задачу классификации текстов — классическим ML, дообучением BERT или LLM?
- Что такое TF-IDF?
- Как классифицировать обращения клиентов?
Три уровня, выбор — по объёму разметки, требованиям к качеству и стоимости: TF-IDF + линейная модель — быстрая и дешёвая базовая линия, хороша при тысячах размеченных примеров; эмбеддинги или дообученный BERT-подобный энкодер — лучшее качество на русском при достаточной разметке, дёшево в работе; LLM с промптом — почти без разметки, быстрый старт, но дороже и медленнее на каждый запрос. Частая схема: LLM размечает данные, маленькая модель обучается на них и работает в продакшене.
- Сначала базовая линия на TF-IDF — она часто удивительно сильна
- Для русского — модели, обученные на русском (ruBERT и аналоги)
- Метрики по классам: при дисбалансе важны F1 и полнота редких классов
А ещё Разметка и её качество важнее архитектуры
Подробно
Сравнение:
| подход | разметка | качество | цена работы |
|---|---|---|---|
| TF-IDF + логистическая регрессия | тысячи | базовое | очень низкая |
| эмбеддинги + классификатор | сотни — тысячи | хорошее | низкая |
| дообученный энкодер | тысячи | высокое | низкая, нужен GPU для обучения |
| LLM с примерами | десятки | высокое, без обучения | высокая на запрос |
Практика: анализ ошибок по классам, проверка согласия разметчиков, поиск дублей между обучением и тестом, мониторинг дрейфа тем.
Что хотят услышать
- Спектр подходов и критерии выбора.
- Базовая линия и метрики по классам.
- Роль разметки и комбинирование LLM с маленькой моделью.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗LLM с промптом всегда лучше и дешевле в работе, классические модели устарели
- ✓По разметке, качеству и цене: от TF-IDF до энкодера и LLM
- ✗TF-IDF устарел и не годится даже для базовой линии на тысячах примеров
- ✗Дообученный BERT не требует размеченных данных — хватит описания классов
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.