Установка Llama на компьютер и сервер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Llama на компьютер и сервер». Страница справочника целиком: Установка Llama локально.

Коротко о теме

Установка Llama на ПК и сервер в Ollama и Docker: какой размер Llama 3 потянет карта, сколько памяти просит Scout на 109 млрд, лицензия Meta.

Подробности по разделам

Какие версии Llama есть и какую ставить

Llama 4 понимает изображения на входе.

Сколько памяти нужно Llama 3 и Llama 4

Если считать кажется лишним, ориентируйтесь так: 3B и 8B живут на процессоре и карте 8 ГБ, 70B просит карту на 48-80 ГБ, Llama 4 уже серверная история. Почему карта ускоряет ответы в разы, описано в разделе сервер под ИИ. Выберите модель Meta, сжатие и контекст; у Llama 4 считается полный размер

Llama и русский язык: что проверить до запуска

Для русскоязычного бота сравните Llama с моделями, где русский заявлен: у Gemma 4 больше 140 языков, у Mistral Small 4 русский в списке языков модели. Разборы: Gemma и Mistral.

Лицензия Llama: что можно делать с моделью

Если своя карта не окупается, ту же задачу решает API. AI Gateway Таймвеб Клауд даёт OpenAI-совместимый доступ к современным моделям с оплатой в рублях; для своего GPU-сервера минимальный аванс от 5 000 ₽ на 14 октября 2026.

Ключевые цифры

Поставить Ollama установщиком и выполнить ollama run llama3.1:8b в терминале.
Для карты на 4-6 ГБ подойдёт llama3.2, она весит 2 ГБ.
Файл Scout в Ollama весит 67 ГБ, поэтому нужна карта на 80 ГБ (A100 или H100) или две по 48 ГБ.
Размер тот же, 70 млрд параметров и контекст 128K.
Llama 3.3 вышла 6 декабря 2024 года только в инструктивной текстовой версии, а у 3.1 70B есть ещё базовая модель для дообучения.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Apache: Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
Python: Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
n8n: n8n это программа для автоматизации: связывает сервисы сценариями без программирования.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
ЦОД: ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.