Установка AnythingLLM на свой сервер: термины и чек-лист
Подробности, цифры, термины и чек-лист по теме «Установка AnythingLLM на свой сервер». Страница справочника целиком: Установка AnythingLLM на сервер.
Коротко о теме
Установка AnythingLLM в Docker на свой сервер: от 2 ГБ памяти, папка для документов и векторов, связь с Ollama или внешним API, вход для команды.
Подробности по разделам
Что умеет AnythingLLM и чем он отличается от Open WebUI
Есть и настольная версия для Windows, macOS и Linux, но права пользователей и общий доступ работают только в Docker.
Обновление и резервная копия AnythingLLM
Копируйте её целиком и храните копию отдельно от сервера, порядок описан в разделе бэкапы.
Ключевые цифры
- Укажите адрес http://host.docker.internal:11434, на Linux добавьте --add-host=host.docker.internal:host-gateway и переведите Ollama на OLLAMA_HOST=0.0.0.0.
- Нет, если модель работает по API: серверу хватит 2-4 ГБ памяти.
- Видеокарта нужна, только когда своя модель на 9 млрд параметров и больше крутится на этом же сервере.
Термины на странице
- Ollama
- Ollama запускает языковые модели на своём компьютере или сервере одной командой.
- GPU
- GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
- Linux
- Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
- LLM
- LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
- Nginx
- Nginx это веб-сервер и обратный прокси. Его часто ставят перед приложением, чтобы раздавать статику и держать HTTPS.
- ОЗУ
- ОЗУ это оперативная память. Её чаще всего не хватает раньше, чем процессора: базы данных и сайты на CMS держат данные в памяти.
Что проверить
- Посчитайте видеопамять под модель до заказа сервера.
- Начните с почасовой оплаты и выключайте сервер после работы.
- Проверьте драйверы и версию CUDA под ваш фреймворк.
- Храните данные контейнеров в томах.
- Закрепляйте версии образов, а не latest.
- Ограничьте ресурсы контейнеров, чтобы один не съел весь сервер.