Установка Qwen локально: какую модель взять и как запустить, термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Qwen локально: какую модель взять и как запустить». Страница справочника целиком: Установка Qwen локально.

Коротко о теме

Установка Qwen локально через Ollama или vLLM: Qwen3.5 от 0,8 до 9 млрд параметров для ПК, 35B-A3B для карты на 24 ГБ, лицензия Apache 2.0.

Подробности по разделам

Какие модели Qwen открыты и чем они отличаются

У всех серий родной контекст 262 144 токена с расширением до миллиона. Для генерации кода у Alibaba есть отдельный агент, о нём страница Qwen Code.

Сколько памяти нужно Qwen на ПК и сервере

Разница между запуском на процессоре и на карте разобрана в разделе сервер под ИИ. Выберите модель Qwen, сжатие и контекст; для MoE берётся полный размер

Qwen на сервере с vLLM: контекст и параллельные запросы

Карточка Qwen3.6 разрешает уменьшить окно, но не ниже 128 тыс. токенов: на коротком контексте модель хуже рассуждает. Если не хватает и на это, нужна карта крупнее.

Qwen по API, если своя карта не окупается

Для своей карты Таймвеб Клауд просит аванс от 5 000 ₽, цены карт сообщает по запросу.

Ключевые цифры

Qwen3.8 27B в Ollama весит 18 ГБ и помещается на карту с 24 ГБ: ollama run qwen3.8.
Для vLLM в полной точности файл весит 56 ГБ, это уже карта на 80 ГБ, а контекст задают флагом --max-model-len.
Qwen3.5 на 0,8-4 млрд параметров: файлы весят 1,2-3,3 ГБ и работают на процессоре при 8 ГБ оперативной памяти.
Отвечают они медленнее и проще, чем 9B и старше.
Модели под Apache 2.0 (Qwen3.5, Qwen3.6 и Qwen3.8 27B) можно.
У Qwen3.8-Flash-Next и 2,4T-A95B свои лицензии, их условия читайте до запуска в продакшен.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Apache: Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
ОЗУ: ОЗУ это оперативная память. Её чаще всего не хватает раньше, чем процессора: базы данных и сайты на CMS держат данные в памяти.
Linux: Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
ЦОД: ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.