Установка Mistral на сервер и в Docker: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Mistral на сервер и в Docker». Страница справочника целиком: Установка Mistral на свой сервер.

Коротко о теме

Установка Mistral на компьютер и сервер: Ministral 3 на 8 млрд для карты 12 ГБ, Small 4 на 119 млрд параметров, запуск в Docker и лицензии.

Подробности по разделам

Какие модели Mistral можно скачать и запустить у себя

Ministral 3, Small 4 и Medium 3.5 по карточкам умеют вызывать функции и отвечать в JSON, то есть годятся для агентов. Ministral 3 выпущена в вариантах Instruct, Reasoning и Base.

Сколько памяти нужно моделям Mistral

Mistral Small 4 устроена как смесь экспертов: из 128 экспертов на токен работают 4, поэтому скорость близка к модели на 6,5 млрд. Памяти же нужно на все 119 млрд. Отличия процессора от видеокарты разобраны в разделе сервер под ИИ.

Лицензии Mistral и запасной вариант по API

Если карты на 80 ГБ под Small 4 нет, модель того же класса проще получить по API. AI Gateway Таймвеб Клауд работает по протоколу OpenAI и берёт оплату в рублях за токены, а свой GPU-сервер там стартует с аванса от 5 000 ₽ (на 14 октября 2026).

Ключевые цифры

Выберите модель Mistral AI, сжатие и контекст; у Small 4 считается полный размер
Файл весит 4,4 ГБ, контекст 32 тыс. токенов.
Для новых задач посмотрите Ministral 3 8B того же класса.
Русский заявлен в списке языков Mistral Small 4 и Medium 3.5.
У Ministral 3 и Large 3 его в списке нет, хотя по-русски они отвечают; проверьте на своих текстах.
Ministral 3 3B и 8B работают на процессоре при 8 ГБ памяти, но медленно.
Для бота с несколькими пользователями берите сервер с картой хотя бы на 16 ГБ.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Apache: Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
ЦОД: ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.