Установка Ollama на Linux, Windows и в Docker: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Ollama на Linux, Windows и в Docker». Страница справочника целиком: Установка Ollama на сервер и ПК.

Коротко о теме

Установка Ollama на Ubuntu, Windows и в Docker: скрипт установки, образ ollama/ollama, доступ к API по сети через OLLAMA_HOST и папка моделей.

Подробности по разделам

Сколько памяти и диска нужно Ollama

Разница между процессором и GPU разобрана в разделе сервер под ИИ. Выберите модель из каталога Ollama, сжатие и длину контекста

Ollama в Docker: образ ollama/ollama, том и GPU

Если интерфейс и Ollama стоят в одном compose-файле, интерфейс обращается к ней по имени сервиса: http://ollama:11434.

Как открыть API Ollama для других программ

Ставьте впереди Nginx или Caddy с паролем и HTTPS либо закройте порт файрволом и пускайте только свои адреса. У Ollama два API: собственный на /api и совместимый с OpenAI на /v1. Второй нужен n8n, LibreChat и любому коду с библиотекой openai: в настройках указывают адрес http://сервер:11434/v1 и любой ключ, Ollama его игнорирует.

Установка Ollama на Windows и macOS

На macOS и Windows Ollama сама скачивает обновления и предлагает перезапуск из значка в меню. Домашний компьютер подходит для проб и личного чата; если модель должна отвечать боту или команде круглые сутки, её переносят на сервер.

Ключевые цифры

На процессоре Ollama работает с моделями на 3-9 млрд параметров в сжатии Q4, ответ появляется медленнее, чем на GPU.
Для пробы хватит 8 ГБ памяти, для моделей крупнее берут сервер с картой.
Укажите адрес http://host.docker.internal:11434 и добавьте флаг --add-host=host.docker.internal:host-gateway, а Ollama на хосте переведите на OLLAMA_HOST=0.0.0.0.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
Linux: Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Debian: Debian это дистрибутив Linux, на котором основана Ubuntu. Его ценят за стабильность.
Nginx: Nginx это веб-сервер и обратный прокси. Его часто ставят перед приложением, чтобы раздавать статику и держать HTTPS.
n8n: n8n это программа для автоматизации: связывает сервисы сценариями без программирования.
Файрвол: Файрвол ограничивает, с каких адресов и на какие порты можно подключиться к серверу.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Храните данные контейнеров в томах.
Закрепляйте версии образов, а не latest.
Ограничьте ресурсы контейнеров, чтобы один не съел весь сервер.