Установка llama.cpp на сервер и компьютер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка llama.cpp на сервер и компьютер». Страница справочника целиком: Установка llama.cpp на сервер.

Коротко о теме

Установка llama.cpp скриптом, через winget, brew или Docker-образ server-cuda: модели GGUF, llama-server с ключом API и слои на видеокарте.

Подробности по разделам

llama.cpp в Docker: образы server и server-cuda

Внутри контейнера адрес 0.0.0.0 обязателен, иначе сервер не примет соединения; наружу порт ограничен привязкой к 127.0.0.1.

Сколько ресурсов нужно llama.cpp на VPS

Выберите размер модели, нагрузку и контекст: калькулятор подберёт конфигурацию

Термины на странице

GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Ollama
Ollama запускает языковые модели на своём компьютере или сервере одной командой.
Видеопамять
Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
Linux
Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
PowerShell
PowerShell это командная оболочка Windows для автоматизации администрирования.
Docker
Docker запускает программы в контейнерах: всё нужное для работы упаковано в образ.

Что проверить

  1. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  2. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  3. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.
  4. Посчитайте видеопамять под модель до заказа сервера.
  5. Начните с почасовой оплаты и выключайте сервер после работы.
  6. Проверьте драйверы и версию CUDA под ваш фреймворк.

Связанные страницы