Вопросы с собеседований
Вопросы на собеседовании: AI и LLM
Машинное обучение и LLM: метрики и валидация, бустинг, нейросети и трансформеры, RAG, агенты, LLM в продакшене, MLOps.
145вопросов
42Junior
83Middle
20Senior
Как устроены LLM
11- Чем базовая (base) модель отличается от инструктивной (instruct, chat)?Junior
- Как устроен запрос к чат-API модели — роли сообщений, причина остановки, расход токенов?Junior
- Что такое галлюцинации LLM и как с ними бороться?Junior
- Как устроена большая языковая модель (LLM)?Junior
- Почему модель не знает о недавних событиях и как это компенсировать?Junior
- Какие есть провайдеры и семейства языковых моделей, включая российские и открытые?Junior
- Что такое temperature и top-p у языковой модели?Junior
- Как оценить стоимость запроса к модели в токенах?Junior
- Что такое токены и контекстное окно LLM?Junior
- Как мультимодальные модели работают с изображениями и что это значит для стоимости?Middle
- Что такое модели рассуждений и когда их стоит использовать?Middle
Промпты и структурированный вывод
8- Зачем отделять инструкции от данных в промпте и как добавлять примеры (few-shot)?Junior
- Как писать хорошие промпты?Junior
- Как получить от модели JSON по схеме Pydantic и проверить его?Junior
- Можно ли хранить секреты и внутренние правила в системном промпте?Junior
- Как спланировать бюджет контекста и учесть эффект «потери середины»?Middle
- Когда разбивать задачу на цепочку вызовов модели вместо одного большого промпта?Middle
- Как управлять промптами в продакшене — хранение, версии, изменения в команде?Middle
- Как получить от LLM ответ в строгом формате, например JSON?Middle
Эмбеддинги и векторный поиск
8- Как найти похожие тексты по эмбеддингам — что такое косинусное сходство?Junior
- Что такое эмбеддинги?Junior
- Чем поиск по смыслу отличается от поиска по ключевым словам?Junior
- Как выбрать модель эмбеддингов для поиска по русскоязычным документам?Middle
- Как работает индекс HNSW и какие у него настройки?Middle
- Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском?Middle
- Как устроен векторный поиск?Middle
- Когда хватит pgvector, а когда нужна специализированная векторная база?Senior
RAG
11- Как подготовить документы PDF и HTML для RAG?Junior
- Что такое RAG и как он устроен?Junior
- Как разбивать документы на фрагменты для RAG?Middle
- Как заставить RAG-ассистента ссылаться на источники и проверять цитаты?Middle
- Как поддерживать индекс RAG в актуальном состоянии при изменении документов?Middle
- Зачем RAG, если у моделей контекст на сотни тысяч токенов?Middle
- Как улучшить качество RAG, если он отвечает плохо?Middle
- Когда использовать RAG, а когда дообучение модели?Middle
- Что такое реранкер и чем cross-encoder отличается от bi-encoder?Middle
- Какие метрики используют для оценки поиска в RAG — recall@k, MRR, nDCG?Middle
- Как сделать RAG по документам компании с учётом прав доступа?Senior
Оценка качества
8- Как собрать первый набор примеров для оценки LLM-функции?Junior
- Какие проверки ответов LLM можно автоматизировать без модели-судьи?Junior
- Как спроектировать схему извлечения данных и измерить её точность?Middle
- Как откалибровать LLM-судью и убедиться, что ему можно доверять?Middle
- Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки?Middle
- Как оценивать качество ответов LLM?Middle
- Какие сигналы пользователей собирать для оценки LLM-продукта?Middle
- Как построить в команде систему оценки качества LLM-продукта?Senior
Инструменты и агенты
9- Как описать инструмент для модели и обработать цикл «вызов — результат — ответ»?Junior
- Как проектировать LLM-агента и почему агенты ломаются?Middle
- Когда использовать фреймворк вроде LangChain, LangGraph или LlamaIndex, а когда писать тонкий слой над SDK?Middle
- Как написать MCP-сервер и какие риски у подключения чужих MCP-серверов?Middle
- Что такое Model Context Protocol (MCP)?Middle
- Что такое вызов инструментов (tool calling) и агенты?Middle
- Как устроить память агента для длинных задач и что делать с приватностью сохранённого?Senior
- Агент читает почту пользователя и может отправлять письма. Как защитить его от prompt injection?Senior
- Как устроить систему из оркестратора и агентов-исполнителей и как оценивать её работу?Senior
LLM в продакшене
35- Приведите примеры прямой и непрямой prompt injection.Junior
- Как получить потоковый ответ модели и показать его пользователю?Junior
- Как распознавать речь и как измерять качество распознавания (WER)?Middle
- Бизнес просит «сделать ИИ для поддержки». Как превратить такой запрос в измеримую задачу?Middle
- Как реализовать память диалога и долговременную память ассистента?Middle
- Как извлекать данные из сканов и PDF — мультимодальная модель или OCR-конвейер?Middle
- Как измерять качество guardrails и не замедлить ими ответ?Middle
- Как проверить свою LLM-систему на устойчивость к prompt injection?Middle
- Как сделать надёжные вызовы API модели — повторы, таймауты, смена провайдера?Middle
- Как кэшировать запросы к LLM — prompt caching и семантический кэш?Middle
- Как снизить стоимость и задержку приложения на LLM?Middle
- Что такое guardrails в LLM-приложении и как их строить?Middle
- Как наблюдать за LLM-приложением в продакшене?Middle
- Что делать, если провайдер LLM недоступен или деградировал?Middle
- Что записывать в трассу LLM-приложения и какие инструменты для этого есть?Middle
- Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API?Middle
- Как запустить открытую модель у себя — чем отличаются Ollama и vLLM и сколько нужно памяти?Middle
- Как не отправлять персональные данные во внешнюю модель?Middle
- Что такое prompt injection и как от неё защищаться?Middle
- Что проверить в условиях провайдера LLM о данных?Middle
- Как реализовать потоковую выдачу ответа LLM пользователю?Middle
- Как устроен синтез речи в голосовом ассистенте и что важно настроить?Middle
- Как собрать голосового ассистента из распознавания, языковой модели и синтеза речи?Middle
- Как посчитать экономику LLM-функции и доказать, что она окупается?Senior
- Как голосовому ассистенту обрабатывать перебивания, паузы и шум?Senior
- Когда переходить с внешнего API моделей на собственные модели?Senior
- Как использовать данные эксплуатации LLM-системы для её улучшения?Senior
- Как выбрать схему обработки данных для LLM-продукта с учётом 152-ФЗ?Senior
- Как защитить LLM-продукт от злоупотреблений и неконтролируемых расходов?Senior
- Зачем компании единый шлюз к LLM и что в нём должно быть?Senior
- Качество ответов ассистента внезапно упало. Как будете разбираться?Senior
- Как понять, что задачу не нужно решать с помощью LLM?Senior
- Спроектируйте ассистента поддержки интернет-магазина на LLM.Senior
- Как безопасно перевести продукт на другую LLM?Senior
- Как уложить голосового ассистента в задержку ответа около секунды?Senior
Дообучение
3Основы машинного обучения
18- Какие метрики качества классификации вы знаете?Junior
- Что такое матрица ошибок и как по ней посчитать precision и recall?Junior
- Что такое производная и градиент и как они используются в обучении моделей?Junior
- Как вы проводите разведочный анализ данных (EDA)?Junior
- Зачем масштабировать признаки и как кодировать категориальные признаки?Junior
- Как по кривым обучения понять, что модель переобучается или недообучается?Junior
- Какая математика нужна в машинном обучении и где она применяется?Junior
- Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением?Junior
- Что такое переобучение модели и как с ним бороться?Junior
- Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²?Junior
- Зачем делить данные на обучающую, валидационную и тестовую выборки?Junior
- Что такое компромисс смещения и разброса (bias-variance tradeoff)?Middle
- Что такое кросс-валидация и как правильно валидировать модель на временных данных?Middle
- Что такое утечка данных (data leakage) в машинном обучении?Middle
- Как вы строите признаки для модели?Middle
- Как работать с несбалансированными классами?Middle
- Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?Middle
- Что такое собственные векторы и SVD и как они связаны с PCA и рекомендациями?Middle
Модели машинного обучения
14- Как строится дерево решений?Junior
- Как работает градиентный спуск и что такое learning rate?Junior
- Как работает k-means и как выбрать число кластеров?Junior
- Как работают линейная и логистическая регрессия?Junior
- Как искать аномалии в данных, например мошеннические транзакции?Middle
- Как работает дерево решений и чем случайный лес отличается от градиентного бустинга?Middle
- Как объяснить предсказание модели — важность признаков и SHAP?Middle
- Чем различаются XGBoost, LightGBM и CatBoost и как настраивать градиентный бустинг?Middle
- Как подбирать гиперпараметры модели?Middle
- Как решить задачу классификации текстов — классическим ML, дообучением BERT или LLM?Middle
- Что такое PCA и зачем снижать размерность данных?Middle
- Как устроены рекомендательные системы?Middle
- Что такое регуляризация и чем L1 отличается от L2?Middle
- Как подойти к задаче прогнозирования временного ряда?Middle
Нейросети и трансформеры
11- Чем модели-энкодеры отличаются от моделей-декодеров?Junior
- Как устроена и обучается нейросеть — слои, функции активации, обратное распространение ошибки?Junior
- Как работает механизм внимания (self-attention) и архитектура трансформера?Middle
- Как работает обратное распространение ошибки и чем отличаются SGD с моментом и Adam?Middle
- Что такое дистилляция модели?Middle
- Как LLM генерирует текст и что такое KV-кэш?Middle
- Как обучают чат-модели — предобучение, SFT, RLHF и DPO?Middle
- Как написать цикл обучения в PyTorch с валидацией и сохранением лучшей модели?Middle
- Что такое квантизация модели и чем приходится за неё платить?Middle
- Как работает токенизация в LLM и что такое BPE?Middle
- Как дообучить предобученную модель (ResNet, BERT) на своей задаче?Middle
MLOps и модели в продакшене
9- Как перенести код из Jupyter-ноутбука в рабочий проект?Junior
- Как сделать ML-эксперимент воспроизводимым?Junior
- Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?Middle
- Как вести учёт ML-экспериментов, например в MLflow?Middle
- Что такое MLOps и как модель попадает в продакшен?Middle
- Что такое дрейф данных и концепта и как его отслеживать?Middle
- Как внедрить ML-модель — пакетный расчёт или онлайн-сервис?Middle
- Как вы ведёте DS-проект от постановки задачи до внедрения?Senior
- Спроектируйте ML-систему для предсказания оттока клиентов.Senior
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.