NVIDIA L40S，48 GB 显存
Ada Lovelace 架构 GPU，配备 48 GB GDDR6 显存、支持 FP8 的第四代 Tensor Core，以及用于渲染的 RT Core。
GPU 服务器 · AI 推理
GPU L40S 独立服务器
单卡 L40S，兼顾推理与媒体处理。
概览
GPU L40S 的定位。
GPU L40S 将一张 48 GB 显存的 NVIDIA L40S 与 32 核 AMD EPYC 9355P、256 GB DDR5-6000 ECC 内存、两块 3.84 TB NVMe Gen5 硬盘和不限流量的 25 Gbps 端口组合在一起。它最擅长中小模型推理服务、图像生成、渲染和视频转码，固定月费 $979。按订单组装，通常当天交付。
适用场景
- 中小规模 LLM 推理
- 图像与视频生成
- 视频转码
- 3D 渲染
硬件视频引擎
支持 AV1 的 NVENC 和 NVDEC 引擎把转码交给 GPU 处理，25 Gbps 端口负责分发输出内容，没有出口流量费。
32 核 EPYC 9355P 主机
64 线程和 256 GB DDR5-6000 内存在 GPU 旁负责分词、预处理和 API 服务。
规格参数
GPU L40S 完整规格，一目了然。
硬件
| 处理器 | AMD EPYC 9355PZen 5 · 3.55 / 4.4 GHz |
|---|---|
| 核心 / 线程 | 32 核 / 64 线程 |
| GPU | 1 × NVIDIA L40S 48 GBNVIDIA 数据中心级 GPU，驱动可在操作系统内安装 |
| 内存 | 256 GB DDR5-6000 ECC |
| 存储 | 2 × 3.84 TB NVMe Gen5 |
| 网络端口 | 25 Gbps入站与出站流量均不限 |
服务
| IP 地址 | 1 IPv4 + /64 IPv6可按需申请更多 IPv4 |
|---|---|
| DDoS 防护 | 始终开启，无需额外付费 |
| 带外管理 | IPMI 和 HTML5 KVM 控制台 |
| 操作系统 | Ubuntu, Debian, AlmaLinux, Rocky Linux, Windows Server, Proxmox VE也可通过 KVM 控制台安装任意自定义 ISO |
| 交付时间 | 当天交付按订单组装，通常当天交付 |
| 账单 | 每月 $979无开通费，无长期合约，不含税 |
GPU L40S 标配
- 25 Gbps 端口不限流量
- 始终开启的 DDoS 防护
- IPMI 和 HTML5 KVM 控制台
- 1 个 IPv4 地址和 1 个 /64 IPv6 地址段
- 服务器之间免费私有 VLAN 互联
- 工程师 7×24 小时支持
- 无开通费，无长期合约
可选机房
GPU L40S 可在 4 个机房部署。
在可选城市按订单组装，通常当天交付。选择城市，即可直接在该机房下单。
对比
GPU L40S 与产品线其他型号对比。
| Pro 系列Pro 32 | GPU 服务器 · 当前机型GPU L40S | GPU 服务器GPU RTX PRO | |
|---|---|---|---|
| 价格 | $749/月 | $979/月 | $2,199/月 |
| 处理器 | AMD EPYC 9355P | AMD EPYC 9355P | AMD EPYC 9455P |
| 核心 / 线程 | 32 / 64 | 32 / 64 | 48 / 96 |
| GPU | 无 | 1 × L40S · 48 GB | 2 × RTX PRO 6000 · 96 GB |
| 内存 | 384 GB DDR5-6000 ECC | 256 GB DDR5-6000 ECC | 576 GB DDR5-6000 ECC |
| 存储 | 2 × 3.84 TB NVMe Gen5 | 2 × 3.84 TB NVMe Gen5 | 2 × 7.68 TB NVMe Gen5 |
| 端口 | 25 Gbps，不限流量 | 25 Gbps，不限流量 | 25 Gbps，不限流量 |
| 交付时间 | 几分钟内 | 当天 | 当天 |
| 机房位置 | 8 | 4 | 3 |
| 操作 | 查看 Pro 32 | 部署 | 查看 GPU RTX PRO |
常见问题
GPU L40S，有问必答。
一张 L40S 能跑多大的模型？
粗略估算，FP16 或 BF16 下模型权重每十亿参数约占 2 GB，FP8 下约占 1 GB。为 KV 缓存预留约 8 GB 后，48 GB 显存在 FP16 下可容纳约 20B 参数的模型，FP8 下约 40B，采用 4-bit 量化还能放下更大的模型。如需以 FP8 或更高精度运行 70B 级模型，请选择 GPU RTX PRO。
GPU L40S 能做模型微调吗？
可以，只要在 48 GB 显存范围内。借助 LoRA、QLoRA 等参数高效微调方法，单张 L40S 即可微调 7B 至 13B 规模的模型，具体取决于序列长度和批大小。更大模型的全参数微调需要更多显存，例如 GPU RTX PRO 的 192 GB。
会帮我装好 NVIDIA 驱动和 CUDA 吗？
操作系统由你选择，NVIDIA 驱动和 CUDA 也由你按技术栈需要自行安装，可来自 NVIDIA 官方软件源或发行版自带的软件包；服务器为自管理模式，版本完全由你掌控。运行 CUDA 负载时，Ubuntu 24.04 LTS 是常见选择。使用容器时，请安装 NVIDIA Container Toolkit，让 Docker 或 Kubernetes 能够调用 GPU。
GPU L40S 在哪些机房有售？多久交付？
GPU L40S 在阿什本、达拉斯、阿姆斯特丹和法兰克福有售，每月 $979。按订单组装，通常当天交付，无开通费，无长期合约。
以 $979/月部署 GPU L40S。
通常当天交付，含不限流量、DDoS 防护和 IPMI。
- 无开通费
- 不限流量
- 随时取消