Установка LangChain-приложения на свой сервер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка LangChain-приложения на свой сервер». Страница справочника целиком: Установка LangChain на сервер.

Коротко о теме

Установка LangChain на VPS: приложение в Docker с API на FastAPI, модели по OpenAI-совместимому API или в Ollama, векторы в pgvector.

Подробности по разделам

Что ставят на сервер, когда говорят про LangChain

На VPS работает ваш код: чат-бот для Telegram, API для сайта, ночной скрипт обработки документов. Поэтому установка LangChain на сервер сводится к трём вещам: окружение Python, процесс, который не падает и перезапускается, и доступ к модели.

Почему LangServe больше не подходит для LangChain-приложений

Первый: свой небольшой сервис на FastAPI, который вызывает цепочку или агента и отдаёт ответ. Второй: перенести логику в граф и развернуть Agent Server, как описано на странице LangGraph на сервере. Первый проще, второй даёт готовые потоки, память и фоновые запуски.

Термины на странице

Ollama
Ollama запускает языковые модели на своём компьютере или сервере одной командой.
GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
PHP
PHP это язык, на котором работают WordPress, Битрикс и другие CMS. Версия PHP влияет на скорость и совместимость сайта.
SSL-сертификат
SSL-сертификат подтверждает, что сайт принадлежит владельцу домена, и позволяет шифровать соединение.
Виртуальный хостинг
Виртуальный хостинг это место для сайта на общем сервере: обслуживание системы берёт на себя провайдер.
Цепочка сертификатов
Цепочка сертификатов связывает сертификат сайта с корневым через промежуточные. Без промежуточного часть браузеров покажет ошибку.
LLM
LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.

Что проверить

  1. Посчитайте видеопамять под модель до заказа сервера.
  2. Начните с почасовой оплаты и выключайте сервер после работы.
  3. Проверьте драйверы и версию CUDA под ваш фреймворк.
  4. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  5. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  6. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.

Связанные страницы