Как запустить открытую модель у себя — чем отличаются Ollama и vLLM и сколько нужно памяти?
- Как развернуть LLM локально?
- Сколько видеопамяти нужно для модели на 8 миллиардов параметров?
Ollama (на основе llama.cpp) — простой запуск на ноутбуке или сервере, квантованные модели в формате GGUF, работает и на CPU; подходит для разработки и небольшой нагрузки. vLLM — сервер инференса для GPU с высокой пропускной способностью: непрерывный батчинг, эффективное управление KV-кэшем (PagedAttention); для продакшена с многими параллельными запросами. Оба дают OpenAI-совместимый API — код приложения почти не меняется.
- Память под веса ≈ параметры × байт на параметр: 8B в fp16 — около 16 ГБ, в 4 битах — около 5 ГБ
- Плюс память под KV-кэш, растущая с длиной контекста и числом параллельных запросов
- Пропускная способность и задержка меряются нагрузочным тестом, а не одним запросом
А ещё Альтернативы: TGI, SGLang, llama.cpp server; выбор — по железу и нагрузке
Подробно
Ollama:
ollama run qwen2.5:7b
# API: http://localhost:11434/v1/chat/completionsvLLM:
vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 16384Расчёт памяти. Веса + KV-кэш + накладные расходы. KV-кэш на токен зависит от числа слоёв и размера голов; при длинных контекстах и десятках параллельных запросов он может превышать размер весов.
Замер. Нагрузочный тест с реалистичными длинами промптов и ответов: токены в секунду суммарно, время до первого токена и скорость генерации на запрос при разной параллельности.
Что хотят услышать
- Назначение Ollama и vLLM.
- OpenAI-совместимый API.
- Оценка памяти: веса, квантизация, KV-кэш.
- Нагрузочный замер.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Ollama оптимизирован для сотен параллельных запросов на GPU, vLLM — для запуска на ноутбуке
- ✗Память нужна только под веса модели, длина контекста и батч на неё не влияют
- ✗Модель на 8 миллиардов параметров в fp16 помещается в 4 ГБ видеопамяти
- ✓Ollama — простой локальный запуск, vLLM — GPU-сервер с батчингом
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.