GPUAI-инференс
GPU L40S
- AMD EPYC 9355P32 ядра · 64 потока
- 1 × L40S · 48 ГБGPU NVIDIA для дата-центров
- 256 ГБDDR5-6000 ECC
- 2 × 3,84 ТБNVMe Gen5
- Порт 25 Гбит/сБезлимитный трафик
Серия GPU · NVIDIA L40S и RTX PRO 6000
GPU-серверы с NVIDIA L40S и RTX PRO 6000 Blackwell
Серверы без соседей (single-tenant) с GPU NVIDIA для дата-центров, процессорами AMD EPYC 9005 и портами 25 Гбит/с с безлимитным трафиком. Запускайте инференс, дообучение, рендеринг и транскодирование по фиксированной месячной цене — без почасовой оплаты GPU и без платы за исходящий трафик.
Конфигурации
GPU-серверы: сравнение конфигураций.
Цены в долларах США в месяц, без учёта налогов. Безлимитный трафик, защита от DDoS, IPMI и поддержка 24/7 включены.
GPUBlackwell
GPU RTX PRO
- AMD EPYC 9455P48 ядер · 96 потоков
- 2 × RTX PRO 6000 · 96 ГБGPU NVIDIA для дата-центров
- 576 ГБDDR5-6000 ECC
- 2 × 7,68 ТБNVMe Gen5
- Порт 25 Гбит/сБезлимитный трафик
Почему GPU-серверы
Что входит в каждый GPU-сервер.
Две конфигурации с GPU NVIDIA
В GPU L40S установлен один L40S на 48 ГБ, в GPU RTX PRO — две карты RTX PRO 6000 Blackwell по 96 ГБ, всего 192 ГБ памяти GPU.
Процессоры EPYC 9005
32 или 48 ядер Zen 5 и 256 или 576 ГБ DDR5-6000 берут на себя загрузку и предобработку данных, а также обслуживание API рядом с GPU.
Локальное хранилище NVMe Gen5
2 × 3,84 ТБ или 2 × 7,68 ТБ NVMe Gen5 хранят веса моделей, датасеты и чекпоинты на той же машине, что и GPU.
Фиксированная ежемесячная цена
От $979/мес. с безлимитным трафиком, без платы за подключение и долгосрочного контракта: сколько бы токенов или видео вы ни отдавали, платы за исходящий трафик не будет.
Руководство по выбору
Как выбрать GPU-сервер.
Две платформы NVIDIA
NVIDIA L40S — GPU для дата-центров на архитектуре Ada Lovelace: 48 ГБ GDDR6, тензорные ядра четвёртого поколения с поддержкой FP8, RT-ядра и аппаратные блоки кодирования и декодирования видео с поддержкой AV1. У NVIDIA RTX PRO 6000 Blackwell — 96 ГБ GDDR7, тензорные ядра пятого поколения с поддержкой FP4 и интерфейс PCIe 5.0, а с помощью Multi-Instance GPU (MIG) его можно разделить максимум на четыре изолированных экземпляра.
GPU L40S работает на 32-ядерном EPYC 9355P с 256 ГБ DDR5-6000, GPU RTX PRO — на 48-ядерном EPYC 9455P с 576 ГБ. Оба сервера оснащены хранилищем NVMe Gen5 и портом 25 Гбит/с, собираются под заказ и обычно готовы в тот же день. Вы сами выбираете ОС и устанавливаете драйвер NVIDIA и ту версию CUDA, которая нужна вашему стеку.
Как выбрать GPU-сервер
Ориентировочный расчёт: весам модели нужно около 2 ГБ на миллиард параметров в FP16 или BF16, 1 ГБ в FP8 и 0,5 ГБ в 4-битном формате, плюс память под KV-кэш:
- GPU L40S ($979/мес.): около 20B параметров в FP16 или 40B в FP8, и примерно 8 ГБ остаётся под KV-кэш. Подходит также для генерации изображений, рендеринга и транскодирования видео. Доступен в Ашберне, Далласе, Амстердаме и Франкфурте.
- GPU RTX PRO ($2 199/мес.): модель на 70B в FP8 помещается на одну карту, оставляя около 26 ГБ под KV-кэш, а в BF16 — распределяется на обе карты. Подходит также для дообучения, 3D и моделирования. Доступен в Ашберне, Амстердаме и Франкфурте.
Методика подробно разобрана в руководстве по подбору GPU для инференса LLM.
География
GPU-серверы в 4 локациях.
Нью-ЙоркНет в этой локации- Ашберн2 конфигурации
- Даллас1 конфигурация
- Лос-АнджелесНет в этой локации
Амстердам2 конфигурации
Франкфурт2 конфигурации
ЛондонНет в этой локации
СингапурНет в этой локации
ТокиоНет в этой локации
СиднейНет в этой локации
Другие серии
Сравните GPU-серверы с остальной линейкой.
Частые вопросы
GPU-серверы: ответы на вопросы.
Как оплачивается GPU-сервер?
GPU-серверы оплачиваются помесячно по фиксированной цене — $979/мес. за GPU L40S и $2 199/мес. за GPU RTX PRO — с безлимитным трафиком и без платы за исходящий трафик. Вся машина круглосуточно в вашем распоряжении, что удобно для постоянных нагрузок инференса и рендеринга. Платы за подключение и долгосрочного контракта нет, а отменённый сервер продолжает работать до конца оплаченного периода.
Какой GPU-сервер нужен для моей модели?
По оценке, веса занимают около 2 ГБ на миллиард параметров в FP16 и 1 ГБ в FP8, плюс нужно место под KV-кэш. Один L40S на 48 ГБ вмещает модели примерно до 20B параметров в FP16 или до 40B в FP8, а 192 ГБ в GPU RTX PRO позволяют запускать модели класса 70B в FP8 на одной карте или в BF16 на двух. Методика подробно описана в нашем руководстве по подбору GPU для инференса LLM.
Подходят ли GPU-серверы для транскодирования видео и рендеринга?
Да. Оба GPU оснащены аппаратными видеокодерами и декодерами с поддержкой AV1, а также RT-ядрами для рендеринга с трассировкой лучей. Трафик на порту 25 Гбит/с безлимитный, поэтому раздача транскодированного видео не влечёт платы за исходящий трафик.
Как быстро можно получить GPU-сервер и в каких локациях?
GPU-серверы собираются под заказ и обычно готовы в тот же день. GPU L40S доступен в Ашберне, Далласе, Амстердаме и Франкфурте, GPU RTX PRO — в Ашберне, Амстердаме и Франкфурте. Для парка от 5 серверов действуют оптовые цены — по запросу.
Выберите свой GPU-сервер.
От $979/мес. с безлимитным трафиком, защитой от DDoS и IPMI. Без платы за подключение, отмена в любой момент.
- Без платы за подключение
- Безлимитный трафик
- Отмена в любой момент