Этап 5 из 18 · ≈ 4 ч

Выбор модели

Основа с Junior

Закрытые модели по API, открытые веса, российские модели — как выбрать под задачу и ограничения.

вариант	примеры	когда
закрытые модели по API	GPT, Claude, Gemini	максимум качества, быстрый старт
российские модели	GigaChat, YandexGPT	данные должны оставаться в РФ, оплата в рублях
открытые веса	Qwen, Llama, DeepSeek, Mistral	свой контур, контроль, дообучение
маленькие модели	модели на 1–8 млрд параметров	классификация, извлечение, дешёвые массовые задачи

Что важно знать

Выбор — компромисс качества, цены, скорости и требований к данным. Начинают с сильной модели, проверяют качество на своём наборе примеров, потом пробуют дешевле.
Персональные данные граждан РФ (152-ФЗ) и коммерческая тайна часто требуют российского провайдера или модели в своём контуре.
Открытая модель на своих серверах — это расходы на GPU, инфраструктуру и людей; при малой нагрузке API дешевле.
Квантизация (4–8 бит) позволяет запустить модель на меньшем железе ценой небольшой потери качества.
Рейтинги моделей — ориентир; решает проверка на своих данных.

Критерии освоения

Junior ≈ 4 ч

Называет основных провайдеров моделей, включая российских, и открытые семейства моделей

Практика. Составить таблицу из 6 моделей — провайдер, цена за миллион токенов, контекст, где обрабатываются данные.

Middle ≈ 6 ч

Выбирает модель под задачу по качеству на своём наборе, цене, задержке и требованиям к данным
Учитывает 152-ФЗ и коммерческую тайну при выборе провайдера

Практика. Сравнить 3 модели на наборе из 50 примеров своей задачи по качеству, стоимости и задержке и выбрать одну.

Senior ≈ 6 ч

Обосновывает для компании стратегию моделей — внешние API, российские, собственные — с расчётом стоимости

Практика. Подготовить для руководства рекомендацию по моделям на год с учётом требований к данным, бюджета и рисков смены провайдера.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все

Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API?Middle

Начинать с сильной модели по API, чтобы понять потолок качества на своей задаче, собрать оценочный набор, затем пробовать модели дешевле и меньше и сравнивать на нём. Своя открытая модель оправдана при требованиях к данным (контур компании, ПДн), больших и…

Полный разбор

Что такое квантизация модели и чем приходится за неё платить?Middle

Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode упирается в чтение весов из памяти. Плата — некоторая потеря качества, заметнее на…

Полный разбор

Когда переходить с внешнего API моделей на собственные модели?Senior

Решение принимают по четырём осям: данные (можно ли отправлять наружу — 152-ФЗ, коммерческая тайна), стоимость при реальной нагрузке, качество на своих задачах и команда (кто будет эксплуатировать GPU-инфраструктуру). Свои модели выгодны при большом…

Полный разбор

Какие есть провайдеры и семейства языковых моделей, включая российские и открытые?Junior

Зарубежные по API: OpenAI (GPT), Anthropic (Claude), Google (Gemini). Российские: YandexGPT (Яндекс), GigaChat (Сбер) — данные обрабатываются в РФ, это важно для 152-ФЗ. Открытые веса (можно запустить у себя): Llama (Meta), Qwen (Alibaba), Mistral, DeepSeek…

Полный разбор

Почему модель не знает о недавних событиях и как это компенсировать?Junior

Модель выучила данные до даты среза обучения и после этого не обновляется: о более поздних событиях, ценах, версиях библиотек она не знает или уверенно отвечает устаревшим. Компенсируют, давая свежие данные в контексте: поиск по базе знаний или вебу (RAG)…

Полный разбор

Как устроена большая языковая модель (LLM)?Junior

LLM — нейросеть-трансформер, которая предсказывает следующий токен по предыдущим; текст получается, если повторять это шаг за шагом.

Полный разбор

Что такое токены и контекстное окно LLM?Junior

Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования