2 × 96 GB Blackwell GPU
第五代 Tensor Core，支持 FP4 和 FP8，两张卡共 192 GB GDDR7 显存。
GPU 服务器 · Blackwell
GPU RTX PRO 独立服务器
192 GB Blackwell 显存。
概览
GPU RTX PRO 的定位。
GPU RTX PRO 配备两张各 96 GB 显存的 NVIDIA RTX PRO 6000 Blackwell GPU，搭载 48 核 AMD EPYC 9455P、576 GB DDR5-6000 ECC 内存、两块 7.68 TB NVMe Gen5 硬盘，以及不限流量的 25 Gbps 端口。192 GB 显存足以部署 70B 级语言模型、运行微调任务，并胜任繁重的 3D 和仿真工作。每月 $2,199，通常当天交付。
适用场景
- 70B 级以内的 LLM 推理
- LoRA 微调
- 3D 渲染与仿真
- 多模型推理服务
用 MIG 切分 GPU
借助多实例 GPU（MIG），每张 RTX PRO 6000 可划分为最多四个相互隔离的实例，让多个模型或团队共享一张卡。
48 核 EPYC 9455P 主机
96 线程和 576 GB DDR5-6000 内存负责批处理、分词，以及为两张 GPU 输送数据的数据管道。
规格参数
GPU RTX PRO 完整规格，一目了然。
硬件
| 处理器 | AMD EPYC 9455PZen 5 · 3.15 / 4.4 GHz |
|---|---|
| 核心 / 线程 | 48 核 / 96 线程 |
| GPU | 2 × NVIDIA RTX PRO 6000 Blackwell 96 GBNVIDIA 数据中心级 GPU，驱动可在操作系统内安装 |
| 内存 | 576 GB DDR5-6000 ECC12 通道，每通道 1 条 DIMM |
| 存储 | 2 × 7.68 TB NVMe Gen5 |
| 网络端口 | 25 Gbps入站与出站流量均不限 |
服务
| IP 地址 | 1 IPv4 + /64 IPv6可按需申请更多 IPv4 |
|---|---|
| DDoS 防护 | 始终开启，无需额外付费 |
| 带外管理 | IPMI 和 HTML5 KVM 控制台 |
| 操作系统 | Ubuntu, Debian, AlmaLinux, Rocky Linux, Windows Server, Proxmox VE也可通过 KVM 控制台安装任意自定义 ISO |
| 交付时间 | 当天交付按订单组装，通常当天交付 |
| 账单 | 每月 $2,199无开通费，无长期合约，不含税 |
GPU RTX PRO 标配
- 25 Gbps 端口不限流量
- 始终开启的 DDoS 防护
- IPMI 和 HTML5 KVM 控制台
- 1 个 IPv4 地址和 1 个 /64 IPv6 地址段
- 服务器之间免费私有 VLAN 互联
- 工程师 7×24 小时支持
- 无开通费，无长期合约
可选机房
GPU RTX PRO 可在 3 个机房部署。
在可选城市按订单组装，通常当天交付。选择城市，即可直接在该机房下单。
对比
GPU RTX PRO 与产品线其他型号对比。
| GPU 服务器GPU L40S | GPU 服务器 · 当前机型GPU RTX PRO | Pro 系列Pro 48 | |
|---|---|---|---|
| 价格 | $979/月 | $2,199/月 | $999/月 |
| 处理器 | AMD EPYC 9355P | AMD EPYC 9455P | AMD EPYC 9455P |
| 核心 / 线程 | 32 / 64 | 48 / 96 | 48 / 96 |
| GPU | 1 × L40S · 48 GB | 2 × RTX PRO 6000 · 96 GB | 无 |
| 内存 | 256 GB DDR5-6000 ECC | 576 GB DDR5-6000 ECC | 576 GB DDR5-6000 ECC |
| 存储 | 2 × 3.84 TB NVMe Gen5 | 2 × 7.68 TB NVMe Gen5 | 2 × 7.68 TB NVMe Gen5 |
| 端口 | 25 Gbps，不限流量 | 25 Gbps，不限流量 | 25 Gbps，不限流量 |
| 交付时间 | 当天 | 当天 | 几分钟内 |
| 机房位置 | 4 | 3 | 8 |
| 操作 | 查看 GPU L40S | 部署 | 查看 Pro 48 |
常见问题
GPU RTX PRO，有问必答。
两张 96 GB GPU 能跑哪些模型？
粗略估算，70B 模型在 FP8 下权重约需 70 GB，单卡即可放下，还剩约 26 GB 留给 KV 缓存，每张 GPU 可各运行一个副本。在 BF16 下，同一模型约需 140 GB，需通过张量并行拆分到两张 GPU 上。Blackwell 支持 FP4，对于量化为该格式的模型，权重显存还能再减半。
两张 GPU 之间有 NVLink 互联吗？
没有。RTX PRO 6000 Blackwell 不支持 NVLink，两张卡通过 PCIe 5.0 交换数据。这适合每张 GPU 各运行一个模型，或在两张卡之间做张量并行；依赖大量 GPU 之间超高互联带宽的任务，更适合基于 NVLink 的系统。
需要什么版本的驱动和 CUDA？
Blackwell GPU 需要较新的 NVIDIA 驱动以及 CUDA 12.8 或更高版本，更早的 CUDA 版本不支持该架构。请在 Ubuntu 24.04 LTS 或其他受支持的发行版上，从 NVIDIA 官方软件源安装驱动，并使用针对 CUDA 12.8 或更高版本编译的框架构建，当前的 PyTorch 版本均已提供。
GPU RTX PRO 在哪些机房有售？多久交付？
GPU RTX PRO 在阿什本、阿姆斯特丹和法兰克福有售，每月 $2,199。按订单组装，通常当天交付。批量部署可咨询批量价格。
以 $2,199/月部署 GPU RTX PRO。
通常当天交付，含不限流量、DDoS 防护和 IPMI。
- 无开通费
- 不限流量
- 随时取消