ИИ-агент на ПК: как запустить его локально, термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «ИИ-агент на ПК: как запустить его локально». Страница справочника целиком: ИИ-агент на ПК локально.

Коротко о теме

Локальный ИИ агент на ПК: модель в Ollama, Open WebUI или AnythingLLM, контекст от 64 тыс. токенов и момент, когда агента пора нести на сервер.

Подробности по разделам

Из чего собрать ИИ-агента на ПК

Последние две берут, когда агент должен действовать сам: подробности на страницах Hermes Agent и OpenClaw.

Почему локальному ИИ-агенту мало контекста по умолчанию

Для агентов, веб-поиска и инструментов программирования документация Ollama советует не меньше 64 тысяч. Вторая команда показывает, сколько модели поместилось в видеокарту: в колонке PROCESSOR должно стоять 100% GPU. Если часть ушла на процессор, ответы заметно замедлятся, и тогда уменьшают модель или окно.

Когда переносить ИИ-агента с ПК на сервер

Логика агента живёт на VPS, а модель приходит по OpenAI-совместимому API. Своя модель на сервере требует видеокарты, такие серверы сдаются с почасовой оплатой. Три ответа, и подсказка покажет, что ставить или когда нужен сервер

Ключевые цифры

Разработчики AnythingLLM рекомендуют 16 ГБ оперативной памяти и 8-ядерный процессор, а в Windows видеокарту с 8-12 ГБ видеопамяти.
Open WebUI тоже можно поставить без Docker, через pip на Python 3.11.

Термины на странице

Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
PowerShell: PowerShell это командная оболочка Windows для автоматизации администрирования.
Python: Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
ОЗУ: ОЗУ это оперативная память. Её чаще всего не хватает раньше, чем процессора: базы данных и сайты на CMS держат данные в памяти.
LLM: LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
Linux: Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.

Что проверить

Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.
Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.