Бесплатная локальная нейросеть на своём компьютере: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Бесплатная локальная нейросеть на своём компьютере». Страница справочника целиком: Бесплатная локальная нейросеть.

Коротко о теме

Бесплатная локальная нейросеть на своём ПК: какие модели пойдут на карте 8, 16 и 24 ГБ, программы без подписки, работа без интернета и лицензии.

Подробности по разделам

Что значит локальная нейросеть и почему она бесплатная

У этого есть цена. Модель, которая помещается в домашнюю видеокарту, знает меньше и ошибается чаще, чем большие облачные модели. Локальная нейросеть хороша для черновиков, пересказа, переписки с документами и кода, а не для задач, где ошибка дорого стоит.

Какая нейросеть пойдёт на вашем компьютере

Укажите видеокарту, оперативную память и задачу: подскажем модели и размер файла Размеры файлов взяты из каталога Ollama для сжатия Q4. На Mac с Apple Silicon видеопамять и оперативная память общие, поэтому модель ограничивает общий объём памяти; LM Studio советует для Mac от 16 ГБ.

Ключевые цифры

Да, на процессоре работают модели на 2-4 млрд параметров при 8-16 ГБ оперативной памяти.
Русский заявлен у Gemma 4 (больше 140 языков) и в списке языков Mistral Small 4.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
LLM: LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
ОЗУ: ОЗУ это оперативная память. Её чаще всего не хватает раньше, чем процессора: базы данных и сайты на CMS держат данные в памяти.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
Linux: Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
Облачный сервер: Облачный сервер это VPS, ресурсы которого можно менять на ходу, а оплата часто почасовая.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.