Как развернуть RAG: от документов до ответов модели, термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Как развернуть RAG: от документов до ответов модели». Страница справочника целиком: Как развернуть RAG.

Коротко о теме

Как развернуть RAG на своём сервере или платформе: разбивка документов, эмбеддинги, база Qdrant или pgvector, модель в Ollama, проверка ответов.

Подробности по разделам

RAG на своём сервере в Docker: минимальный набор

Если на сервере уже есть PostgreSQL, вместо Qdrant подойдёт pgvector.

Сколько места и памяти нужно RAG

Основную память съедает языковая модель, если она стоит у вас, а не работает по API. Подбор конфигурации под модель: сервер под LLM.

Термины на странице

LLM
LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
Ollama
Ollama запускает языковые модели на своём компьютере или сервере одной командой.
PostgreSQL
PostgreSQL это база данных для приложений с большими объёмами и сложными запросами.
152-ФЗ
152-ФЗ это закон о персональных данных. Вместе с требованием локализации он обязывает хранить базы с данными россиян на серверах в России.
Apache
Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.

Что проверить

  1. Посчитайте видеопамять под модель до заказа сервера.
  2. Начните с почасовой оплаты и выключайте сервер после работы.
  3. Проверьте драйверы и версию CUDA под ваш фреймворк.
  4. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  5. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  6. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.

Связанные страницы