Этап 6 из 18 · ≈ 8 ч

Локальные и собственные модели

Полезно знать с Middle

Запуск открытых моделей — Ollama для разработки, vLLM для продакшена.

Открытую модель можно запустить у себя: на ноутбуке для разработки или на GPU-сервере в продакшене.

Что важно знать

  • Ollama, LM Studio — локальный запуск в одну команду, удобно для экспериментов и офлайн-разработки.
  • vLLM, SGLang, TGI — серверы для продакшена: непрерывная пакетная обработка, эффективный KV-кэш, API в формате OpenAI.
  • Память: модель на 8 млрд параметров в 16 битах занимает около 16 ГБ только весами, плюс KV-кэш под контексты.
  • Квантизация уменьшает память в 2–4 раза.
  • Свой сервер оправдан при больших объёмах, требованиях к данным или необходимости дообучения.

Критерии освоения

Middle ≈ 8 ч

  • Запускает открытую модель локально через Ollama и обращается к ней по OpenAI-совместимому API
  • Объясняет, сколько памяти нужно модели и как квантизация её уменьшает

Практика. Запустить локально модель на 7–8 млрд параметров, прогнать на ней свой набор из 50 примеров и сравнить с моделью по API.

Senior ≈ 8 ч

  • Разворачивает vLLM на GPU-сервере, измеряет пропускную способность и задержку под нагрузкой
  • Сравнивает стоимость своей модели и API при реальном профиле нагрузки

Практика. Развернуть vLLM, провести нагрузочный тест на 20 одновременных пользователей и посчитать стоимость миллиона токенов против API.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое квантизация модели и чем приходится за неё платить?Middle

Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode упирается в чтение весов из памяти. Плата — некоторая потеря качества, заметнее на…

Полный разбор
Как LLM генерирует текст и что такое KV-кэш?Middle

Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT). Decode — по одному токену за шаг (определяет скорость печати). KV-кэш хранит ключи…

Полный разбор
Когда переходить с внешнего API моделей на собственные модели?Senior

Решение принимают по четырём осям: данные (можно ли отправлять наружу — 152-ФЗ, коммерческая тайна), стоимость при реальной нагрузке, качество на своих задачах и команда (кто будет эксплуатировать GPU-инфраструктуру). Свои модели выгодны при большом…

Полный разбор
Как запустить открытую модель у себя — чем отличаются Ollama и vLLM и сколько нужно памяти?Middle

Ollama (на основе llama.cpp) — простой запуск на ноутбуке или сервере, квантованные модели в формате GGUF, работает и на CPU; подходит для разработки и небольшой нагрузки. vLLM — сервер инференса для GPU с высокой пропускной способностью: непрерывный батчинг…

Полный разбор
Какие есть провайдеры и семейства языковых моделей, включая российские и открытые?Junior

Зарубежные по API: OpenAI (GPT), Anthropic (Claude), Google (Gemini). Российские: YandexGPT (Яндекс), GigaChat (Сбер) — данные обрабатываются в РФ, это важно для 152-ФЗ. Открытые веса (можно запустить у себя): Llama (Meta), Qwen (Alibaba), Mistral, DeepSeek…

Полный разбор

Документация

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования