Установка CUDA на Ubuntu-сервер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка CUDA на Ubuntu-сервер». Страница справочника целиком: Установка CUDA на Ubuntu.

Коротко о теме

Установка CUDA на сервер с видеокартой: драйвер NVIDIA, репозиторий cuda-keyring, совместимость версий и Docker с NVIDIA Container Toolkit.

Подробности по разделам

Драйвер, CUDA Toolkit или контейнер: что нужно серверу

Поэтому на сервере под Docker-нагрузку Toolkit часто вообще не ставят, и версия CUDA в контейнере может отличаться от соседнего.

Совместимость версий CUDA и драйвера NVIDIA

Карты вроде GTX 1080 остаются на CUDA 12.x. Там же прекращена поддержка Ubuntu 20.04: берите 22.04 или 24.04. Команда nvidia-smi в правом верхнем углу печатает «CUDA Version».

Ключевые цифры

Для CUDA 12.8 GA нужен драйвер Linux 570.26 или новее, а в режиме совместимости младших версий любая CUDA 12.x работает на драйвере от 525.
Нет, начиная с CUDA 13.0 архитектура Pascal не поддерживается.
Для таких карт используйте CUDA 12.x.

Термины на странице

GPU: GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
Linux: Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
Ollama: Ollama запускает языковые модели на своём компьютере или сервере одной командой.
Tier: Tier это класс дата-центра по уровню резервирования питания и охлаждения, от I до IV.
Видеопамять: Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
ЦОД: ЦОД это дата-центр: здание с серверами, питанием, охлаждением и сетью.

Что проверить

Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.
Посчитайте видеопамять под модель до заказа сервера.
Начните с почасовой оплаты и выключайте сервер после работы.
Проверьте драйверы и версию CUDA под ваш фреймворк.