Два GPU Blackwell по 96 ГБ
Тензорные ядра пятого поколения с поддержкой FP4 и FP8 и 192 ГБ памяти GDDR7 на двух картах.
GPU-серверы · Blackwell
Выделенный сервер GPU RTX PRO
192 ГБ памяти GPU на архитектуре Blackwell.
$2 199/мес.
Готов в тот же день
Без учёта налогов · без платы за подключение · отмена в любой момент
Сравнить все 10 серверов
- Безлимитный порт 25 Гбит/с
- Защита от DDoS
- IPMI + консоль KVM
- Инженеры на связи 24/7
Обзор
Место GPU RTX PRO в линейке.
GPU RTX PRO объединяет два GPU NVIDIA RTX PRO 6000 Blackwell по 96 ГБ, 48-ядерный AMD EPYC 9455P, 576 ГБ DDR5-6000 ECC, два накопителя NVMe Gen5 по 7,68 ТБ и порт 25 Гбит/с с безлимитным трафиком. Со 192 ГБ памяти GPU он обслуживает языковые модели класса 70B, выполняет дообучение и справляется с тяжёлыми задачами 3D и моделирования. Стоит $2 199/мес. и обычно готов в тот же день.
Подходит для
- Инференс LLM вплоть до моделей класса 70B
- Дообучение с LoRA
- 3D-рендеринг и моделирование
- Инференс нескольких моделей одновременно
Разделение GPU через MIG
Каждый RTX PRO 6000 можно разделить максимум на четыре изолированных экземпляра с помощью Multi-Instance GPU, чтобы одну карту использовали несколько моделей или команд.
48-ядерный EPYC 9455P
96 потоков и 576 ГБ DDR5-6000 берут на себя батчинг, токенизацию и конвейеры данных, которые загружают работой оба GPU.
Характеристики
Характеристики GPU RTX PRO: всё, что входит в комплект.
Оборудование
| Процессор | AMD EPYC 9455PZen 5 · 3,15 / 4,4 ГГц |
|---|---|
| Ядра / потоки | 48 ядер / 96 потоков |
| GPU | 2 × NVIDIA RTX PRO 6000 Blackwell 96 ГБGPU NVIDIA для дата-центров, драйверы устанавливаются из ОС |
| Память | 576 ГБ DDR5-6000 ECC12 каналов, по одному DIMM на канал |
| Диски | 2 × 7,68 ТБ NVMe Gen5 |
| Сетевой порт | 25 Гбит/сБезлимитный входящий и исходящий трафик |
Сервис
| IP-адреса | 1 IPv4 + /64 IPv6Дополнительные IPv4 по запросу |
|---|---|
| Защита от DDoS | Всегда включена, входит в стоимость |
| Внеполосное управление | IPMI и консоль HTML5 KVM |
| Операционные системы | Ubuntu, Debian, AlmaLinux, Rocky Linux, Windows Server, Proxmox VEИли любой свой ISO-образ через консоль KVM |
| Срок выдачи | Готов в тот же деньСобирается под заказ, обычно готов в тот же день |
| Оплата | $2 199 в месяцБез платы за подключение и контракта, без учёта налогов |
Что входит в GPU RTX PRO
- Безлимитный трафик на порту 25 Гбит/с
- Постоянная защита от DDoS
- IPMI и консоль HTML5 KVM
- 1 адрес IPv4 и блок IPv6 /64
- Бесплатные частные VLAN между вашими серверами
- Поддержка инженеров 24/7
- Без платы за подключение и без контракта
География
GPU RTX PRO доступен в 3 локациях.
Нью-ЙоркНет в этой локации- АшбернВосток США
- ДалласНет в этой локации
- Лос-АнджелесНет в этой локации
АмстердамНидерланды
ФранкфуртГермания
ЛондонНет в этой локации
СингапурНет в этой локации
ТокиоНет в этой локации
СиднейНет в этой локации
Сервер собирается под заказ в доступных городах и обычно готов в тот же день. Выберите город, чтобы оформить заказ в нём.
Сравнение
GPU RTX PRO в сравнении с остальной линейкой.
| GPU-серверыGPU L40S | GPU-серверы · этот серверGPU RTX PRO | Серия ProPro 48 | |
|---|---|---|---|
| Цена | $979/мес. | $2 199/мес. | $999/мес. |
| Процессор | AMD EPYC 9355P | AMD EPYC 9455P | AMD EPYC 9455P |
| Ядра / потоки | 32 / 64 | 48 / 96 | 48 / 96 |
| GPU | 1 × L40S · 48 ГБ | 2 × RTX PRO 6000 · 96 ГБ | Нет |
| Память | 256 ГБ DDR5-6000 ECC | 576 ГБ DDR5-6000 ECC | 576 ГБ DDR5-6000 ECC |
| Диски | 2 × 3,84 ТБ NVMe Gen5 | 2 × 7,68 ТБ NVMe Gen5 | 2 × 7,68 ТБ NVMe Gen5 |
| Порт | 25 Гбит/с, безлимитный трафик | 25 Гбит/с, безлимитный трафик | 25 Гбит/с, безлимитный трафик |
| Срок выдачи | В тот же день | В тот же день | За несколько минут |
| Локации | 4 | 3 | 8 |
| Действие | Смотреть GPU L40S | Заказать | Смотреть Pro 48 |
Частые вопросы
GPU RTX PRO: ответы на вопросы.
Какие модели помещаются на два GPU по 96 ГБ?
По оценке, модели на 70B в FP8 нужно около 70 ГБ под веса, поэтому она помещается на одну карту, оставляя около 26 ГБ под KV-кэш, и можно запустить по одной копии на каждый GPU. В BF16 той же модели нужно около 140 ГБ, и она распределяется на оба GPU с помощью тензорного параллелизма. Поддержка FP4 в Blackwell ещё вдвое сокращает память под веса для моделей, квантизованных в этот формат.
Связаны ли два GPU через NVLink?
Нет. У RTX PRO 6000 Blackwell нет NVLink, поэтому карты обмениваются данными по PCIe 5.0. Этого достаточно, чтобы запускать по одной модели на GPU или использовать тензорный параллелизм на двух картах; для задач, которым нужна очень высокая пропускная способность между множеством GPU, лучше подходят системы на базе NVLink.
Какие версии драйвера и CUDA нужны?
Для GPU Blackwell нужен свежий драйвер NVIDIA и CUDA 12.8 или новее: более ранние выпуски CUDA эту архитектуру не поддерживают. Установите драйвер из репозитория NVIDIA на Ubuntu 24.04 LTS или другом поддерживаемом дистрибутиве и используйте сборки фреймворков, скомпилированные под CUDA 12.8 или новее, — такие есть в актуальных выпусках PyTorch.
Где доступен GPU RTX PRO и как быстро его можно получить?
GPU RTX PRO доступен в Ашберне, Амстердаме и Франкфурте за $2 199/мес. Сервер собирается под заказ и обычно готов в тот же день. Для парка серверов запросите оптовые цены.
Закажите GPU RTX PRO за $2 199/мес.
Обычно готов в тот же день. Безлимитный трафик, защита от DDoS и IPMI уже включены.
- Без платы за подключение
- Безлимитный трафик
- Отмена в любой момент