Сервер под LLM: память, карты и движок, термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Сервер под LLM: память, карты и движок». Страница справочника целиком: Сервер под LLM.

Коротко о теме

Сервер под LLM: как посчитать память для модели на 8, 70 и 284 млрд параметров, какую карту взять, vLLM или Ollama и что с дообучением LoRA.

Подробности по разделам

Как посчитать память сервера под LLM

И около полугигабайта на сам движок. Пример: Llama 3.3 70B в FP16 весит около 140 ГБ, а в Q4 файл Ollama занимает 43 ГБ. У MoE-моделей память считают по полному числу параметров, даже если на токен работает малая часть.

Какие видеокарты подходят под LLM: таблица по памяти

Подробно о каждой карте: аренда видеокарты.

Дообучение LLM на своём сервере: когда оно нужно

Памяти всё равно уходит больше, чем на простой запуск: кроме весов нужны активации и состояния оптимизатора. Для таких задач удобна почасовая оплата: сервер с картой арендуют на время обучения и удаляют, а готовый адаптер запускают на меньшей конфигурации.

Ключевые цифры

Размер файла модели плюс кэш контекста и 2 ГБ на систему: для 8-9 млрд в Q4 это 8-12 ГБ.

Термины на странице

LLM: LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
ОЗУ: ОЗУ это оперативная память. Её чаще всего не хватает раньше, чем процессора: базы данных и сайты на CMS держат данные в памяти.
Облачный сервер: Облачный сервер это VPS, ресурсы которого можно менять на ходу, а оплата часто почасовая.
ЦОД: ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.