Инференс AI-моделей на выделенных GPU NVIDIA

Начните с памяти: модель, которая не помещается в видеопамять, не будет работать с приемлемой скоростью. Веса занимают примерно число параметров × байт на параметр: 2 байта в BF16, 1 байт в FP8 и около 0,5 байта при 4-битной квантизации. Оценки ниже — только для весов:

Затем заложите память под KV-кэш: он растёт с длиной контекста и числом одновременных запросов. Для модели 70B с архитектурой Llama и grouped-query attention каждый токен контекста занимает около 0,33 МБ в FP16, поэтому 32 одновременным сессиям по 8 000 токенов нужно примерно 85 ГБ сверх весов. Сервисы с длинным контекстом и высокой конкурентностью часто упираются в объём KV-кэша раньше, чем в вычислительную мощность, поэтому после загрузки весов оставляйте свободными 20–40% видеопамяти.

В GPU RTX PRO установлены две карты RTX PRO 6000 Blackwell на PCIe 5.0, без NVLink между ними. От этого зависит схема развёртывания:

• Модель помещается на одну карту: запустите две независимые реплики, по одной на каждый GPU, за балансировщиком нагрузки. Пропускная способность вырастет примерно вдвое, а трафика между GPU не будет.
• Модели нужны обе карты: используйте тензорный параллелизм степени 2 в vLLM или SGLang. Это распространённая схема для инференса через PCIe, но каждый GPU выполняет меньше полезной работы, чем в отдельной реплике.
• Смешанная нагрузка: закрепите LLM за одной картой, а вторую отдайте под эмбеддинги, реранкинг, модели речи или изображений.

GPU L40S — это одна карта на 48 ГБ, поэтому масштабируйтесь горизонтально: несколько серверов за балансировщиком нагрузки, внутренний трафик — по бесплатной частной VLAN. Оба GPU-сервера собираются под заказ и обычно выдаются в тот же день; они доступны в Ашберне, Амстердаме и Франкфурте, а GPU L40S — ещё и в Далласе.

• Драйверы и CUDA: после развёртывания установите драйвер NVIDIA и NVIDIA Container Toolkit и зафиксируйте их версии. GPU Blackwell требуют CUDA 12.8 или новее, поэтому пересоберите образы на базе более старых релизов CUDA или PyTorch.
• Веса на локальных NVMe: храните модели на накопителях NVMe Gen5 и загружайте их заранее, чтобы при перезапуске они читались с локального диска, а не из удалённого реестра.
• Батчинг: непрерывный батчинг (continuous batching) в vLLM, SGLang или TensorRT-LLM — обычно главный рычаг пропускной способности. Подбирайте максимальное число одновременных последовательностей под целевую задержку.
• Квантизация: FP8 вдвое сокращает объём памяти под веса по сравнению с BF16, часто почти без потери качества. Прежде чем переключаться, проверьте качество на собственном наборе данных для оценки.
• Доступ извне: держите порты инференса в частной VLAN или за шлюзом с аутентификацией. Постоянно включённая защита от DDoS отсекает флуд-атаки на границе сети, но не заменяет аутентификацию.

Серверы предоставляются без администрирования: вы получаете root-доступ, IPMI и консоль KVM и сами управляете всем программным стеком — от ветки драйвера до фреймворка для инференса.