GPUAI 推理
GPU L40S
- AMD EPYC 9355P32 核 · 64 线程
- 1 × L40S · 48 GBNVIDIA 数据中心级 GPU
- 256 GBDDR5-6000 ECC
- 2 × 3.84 TBNVMe Gen5
- 25 Gbps 端口不限流量
配置
GPU 服务器配置对比。
价格按月以美元计，不含税。已包含不限流量、DDoS 防护、IPMI 和 7×24 小时支持。
GPUBlackwell
GPU RTX PRO
- AMD EPYC 9455P48 核 · 96 线程
- 2 × RTX PRO 6000 · 96 GBNVIDIA 数据中心级 GPU
- 576 GBDDR5-6000 ECC
- 2 × 7.68 TBNVMe Gen5
- 25 Gbps 端口不限流量
为什么选择 GPU 服务器
每台 GPU 服务器的标配。
两种 NVIDIA GPU 可选
GPU L40S 搭载一张 48 GB L40S；GPU RTX PRO 搭载两张 96 GB RTX PRO 6000 Blackwell，显存合计 192 GB。
EPYC 9005 主机 CPU
32 或 48 个 Zen 5 核心，配合 256 GB 或 576 GB DDR5-6000 内存，在 GPU 旁负责数据加载、预处理和 API 服务。
本地 NVMe Gen5 存储
2 × 3.84 TB 或 2 × 7.68 TB NVMe Gen5，模型权重、数据集和检查点与 GPU 位于同一台机器上。
固定月费
$979/月起，不限流量，无开通费，无长期合约；输出再多 Token 或视频，也不会产生出口流量费。
选购指南
如何选择 GPU 服务器。
两大 NVIDIA 平台
NVIDIA L40S 是 Ada Lovelace 架构的数据中心级 GPU，配备 48 GB GDDR6 显存、支持 FP8 的第四代 Tensor Core、RT Core，以及支持 AV1 的硬件视频引擎。NVIDIA RTX PRO 6000 Blackwell 配备 96 GB GDDR7 显存、支持 FP4 的第五代 Tensor Core 和 PCIe 5.0 接口，并可通过多实例 GPU（MIG）划分为最多四个相互隔离的实例。
GPU L40S 搭载 32 核 EPYC 9355P 和 256 GB DDR5-6000；GPU RTX PRO 搭载 48 核 EPYC 9455P 和 576 GB 内存。两款均配备 NVMe Gen5 存储和 25 Gbps 端口，按订单组装，通常当天交付。操作系统由你选择，NVIDIA 驱动和 CUDA 版本也按你的技术栈需要自行安装。
如何选择 GPU 服务器
粗略估算，FP16 或 BF16 精度下，模型权重每十亿参数约占 2 GB，FP8 约占 1 GB，4-bit 约占 0.5 GB，此外还需为 KV 缓存预留显存：
- GPU L40S（$979/月）：FP16 下约可容纳 20B 参数，FP8 下约 40B，并为 KV 缓存留出约 8 GB。同样适合图像生成、渲染和视频转码。可在阿什本、达拉斯、阿姆斯特丹和法兰克福部署。
- GPU RTX PRO（$2,199/月）：FP8 下单卡即可放下 70B 模型，并为 KV 缓存留出约 26 GB；BF16 下则可分布到两张卡上运行。同样适合微调、3D 和仿真。可在阿什本、阿姆斯特丹和法兰克福部署。
LLM 推理 GPU 选型指南详细介绍了这套方法。
可选机房
GPU 服务器可在 4 个机房部署。
纽约该机房暂未提供- 阿什本2 款配置
- 达拉斯1 款配置
- 洛杉矶该机房暂未提供
阿姆斯特丹2 款配置
法兰克福2 款配置
伦敦该机房暂未提供
新加坡该机房暂未提供
东京该机房暂未提供
悉尼该机房暂未提供
常见问题
GPU 服务器，有问必答。
GPU 服务器如何计费？
GPU 服务器按固定月费计费：GPU L40S 为 $979/月，GPU RTX PRO 为 $2,199/月，不限流量，也没有出口流量费。整台机器 7×24 小时归您独享，适合持续稳定的推理和渲染负载。无开通费、无长期合约；服务器取消后，会保持运行至已付费周期结束。
我的模型该用哪款 GPU 服务器？
粗略估算，FP16 下模型权重每十亿参数约占 2 GB，FP8 下约占 1 GB，此外还要为 KV 缓存留出空间。一张 48 GB 的 L40S 在 FP16 下可容纳约 20B 参数以内的模型，FP8 下约 40B；GPU RTX PRO 共有 192 GB 显存，FP8 下单卡即可运行 70B 级模型，BF16 下则分布到两张卡上运行。我们的 LLM 推理 GPU 选型指南详细介绍了这套方法。
GPU 服务器能用于视频转码和渲染吗？
可以。两款 GPU 都内置支持 AV1 的硬件视频编码器和解码器，并配有用于光线追踪渲染的 RT Core。25 Gbps 端口不限流量，分发转码后的视频不会产生出口流量费。
GPU 服务器多久交付？在哪些机房有售？
GPU 服务器按订单组装，通常当天交付。GPU L40S 在阿什本、达拉斯、阿姆斯特丹和法兰克福有售，GPU RTX PRO 在阿什本、阿姆斯特丹和法兰克福有售。5 台及以上的批量部署可申请批量价格。