在独享的 NVIDIA GPU 上部署 AI 推理服务

先看显存：模型装不进显存，就跑不出可用的速度。权重占用大致等于参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，4-bit 约 0.5 字节。下表仅估算权重本身：

接下来要为 KV 缓存留出预算，它会随上下文长度和并发数增长。以采用分组查询注意力（GQA）的 Llama 类 70B 模型为例，FP16 下每个上下文 token 约占 0.33 MB，32 个并发会话、每个 8,000 token，就需要在权重之外再占用约 85 GB。长上下文、高并发的服务往往算力还没用完，KV 缓存就先耗尽了，因此加载权重后应保留 20% 至 40% 的显存余量。

GPU RTX PRO 配备两张 RTX PRO 6000 Blackwell，通过 PCIe 5.0 连接，卡间没有 NVLink。这决定了你的部署方式：

• 模型单卡放得下：每张 GPU 各跑一个独立副本，前面挂负载均衡器。吞吐量大约翻倍，也没有 GPU 间通信。
• 模型需要两张卡：在 vLLM 或 SGLang 中将张量并行度设为 2。这是基于 PCIe 做推理的常见方案，但与独立副本相比，每张 GPU 完成的有效工作更少。
• 混合负载：把 LLM 固定在一张卡上，另一张用于 Embedding、重排序、语音或图像模型。

GPU L40S 是单张 48 GB 显卡，扩容靠横向扩展：多台服务器挂在负载均衡器后面，内部流量走免费私有 VLAN。两款 GPU 服务器均按订单组装，通常当天交付，可选阿什本、阿姆斯特丹和法兰克福机房，GPU L40S 还可选达拉斯。

• 驱动与 CUDA：部署完成后安装 NVIDIA 驱动和 NVIDIA Container Toolkit，并锁定版本。Blackwell GPU 需要 CUDA 12.8 或更新版本，基于旧版 CUDA 或 PyTorch 的镜像需要重新构建。
• 权重放在本地 NVMe：把模型存放在 NVMe Gen5 硬盘上并提前拉取，重启时直接从本地磁盘重新加载，而不是从远程仓库下载。
• 批处理：vLLM、SGLang 或 TensorRT-LLM 中的连续批处理（continuous batching）通常是提升吞吐量最有效的手段。结合延迟目标调整最大并发序列数。
• 量化：与 BF16 相比，FP8 可将权重显存占用减半，质量损失通常很小。切换前请先用自己的评测集验证。
• 对外暴露：推理端口只开放在私有 VLAN 上，或置于带身份验证的网关之后。始终开启的 DDoS 防护会在网络边缘过滤洪水攻击，但不能替代身份验证。

服务器为非托管模式：你拥有 root 权限、IPMI 和 KVM 控制台，从驱动分支到推理服务框架，整套软件栈都由你掌控。