Установка vLLM на сервер с видеокартой: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка vLLM на сервер с видеокартой». Страница справочника целиком: Установка vLLM на сервер с GPU.

Коротко о теме

Установка vLLM через uv или образ vllm/vllm-openai: Linux, Python 3.11-3.14, карта NVIDIA от T4, ключ API и деление модели на несколько карт.

Подробности по разделам

Чем vLLM отличается от Ollama и llama.cpp

Подробнее о соседях: Ollama и llama.cpp. Три ответа: подскажем, подходит ли vLLM или проще взять другой движок

vLLM в Docker и docker compose

В compose всё это переносится один к одному: образ, том, порт, ipc: host, блок резервирования GPU и аргументы после образа в поле command. HF_TOKEN нужен для закрытых репозиториев вроде meta-llama.

Настройка vLLM: ключ, память карты и несколько моделей

Для файлов GGUF проще путь через llama.cpp, а в vLLM берите оригинальные веса или FP8.

Ключевые цифры

Термины на странице

GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Linux
Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
Ollama
Ollama запускает языковые модели на своём компьютере или сервере одной командой.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
Apache
Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
Tier
Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
Видеопамять
Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
ЦОД
ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

  1. Посчитайте видеопамять под модель до заказа сервера.
  2. Начните с почасовой оплаты и выключайте сервер после работы.
  3. Проверьте драйверы и версию CUDA под ваш фреймворк.
  4. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  5. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  6. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.

Связанные страницы