Установка PyTorch и TensorFlow на сервер с видеокартой: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка PyTorch и TensorFlow на сервер с видеокартой». Страница справочника целиком: Установка PyTorch с CUDA.

Коротко о теме

Установка PyTorch на сервер с GPU: Python 3.10 и новее, сборки cu126 и cu132, проверка видеокарты, TensorFlow с пакетом and-cuda и Docker.

Подробности по разделам

Установка PyTorch с CUDA через pip

Карты на архитектуре Pascal сборкой cu132 не поддерживаются, потому что CUDA 13 убрала эту архитектуру.

Установка TensorFlow с GPU на Ubuntu

На ARM64-серверах сборки для процессора выпускает AWS: команда pip install tensorflow поставит их пакет автоматически. Два фреймворка в одном окружении PyTorch и TensorFlow тянут свои версии библиотек CUDA и cuDNN. В одном окружении они конфликтуют, и ошибка проявится не при установке, а при первом запуске на GPU.

PyTorch и TensorFlow в Docker на сервере с GPU

Для экспериментов с блокнотами то же окружение удобно открыть в Jupyter, а результаты обучения складывать в MLflow.

Какой сервер нужен для обучения на PyTorch

Карта на 16 ГБ подходит для дообучения небольших моделей, на 24 ГБ для LoRA средних языковых моделей, а A100 и H100 на 80 ГБ берут для полноценного обучения. Какие карты доступны и как устроена оплата: аренда видеокарты.

Ключевые цифры

Термины на странице

GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
Linux
Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
LLM
LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
Tier
Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
Видеопамять
Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
ЦОД
ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

  1. Посчитайте видеопамять под модель до заказа сервера.
  2. Начните с почасовой оплаты и выключайте сервер после работы.
  3. Проверьте драйверы и версию CUDA под ваш фреймворк.
  4. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  5. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  6. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.

Связанные страницы