Установка Whisper и faster-whisper на сервер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Whisper и faster-whisper на сервер». Страница справочника целиком: Установка Whisper на сервер.

Коротко о теме

Установка Whisper и faster-whisper на сервер: ffmpeg, CUDA 12 и cuDNN 9, Docker с HTTP API на порту 9000 и расшифровка речи на процессоре.

Подробности по разделам

Что такое Whisper и зачем ставить faster-whisper

Ещё одно удобство: faster-whisper не требует системного ffmpeg, звук декодирует библиотека PyAV.

Whisper в Docker как HTTP API для своих сервисов

Том с кэшем избавляет от повторной загрузки модели при каждом пересоздании контейнера. Если нужен API в формате OpenAI, посмотрите speaches: он тоже работает на faster-whisper. Порт привязан к 127.0.0.1 не случайно: снаружи к сервису обращаются через прокси с паролем или токеном, иначе ваш сервер начнут бесплатно расшифровывать чужие файлы.

Ключевые цифры

Термины на странице

GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
Видеопамять
Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
Tier
Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
n8n
n8n это программа для автоматизации: связывает сервисы сценариями без программирования.
ЦОД
ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

  1. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  2. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  3. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.
  4. Посчитайте видеопамять под модель до заказа сервера.
  5. Начните с почасовой оплаты и выключайте сервер после работы.
  6. Проверьте драйверы и версию CUDA под ваш фреймворк.

Связанные страницы