Выделенный сервер GPU L40S

По оценке, весам модели нужно около 2 ГБ на миллиард параметров в FP16 или BF16 и около 1 ГБ в FP8. Если оставить примерно 8 ГБ под KV-кэш, в 48 ГБ помещаются модели около 20B параметров в FP16 или около 40B в FP8, а с 4-битной квантизацией — и более крупные. Для моделей класса 70B в FP8 или с более высокой точностью выбирайте GPU RTX PRO.

Да, в пределах 48 ГБ памяти GPU. Методы параметрически эффективного дообучения, такие как LoRA и QLoRA, позволяют на практике дообучать модели размером от 7B до 13B на одном L40S — в зависимости от длины последовательности и размера батча. Для полного дообучения более крупных моделей нужно больше памяти GPU, например 192 ГБ в GPU RTX PRO.

Вы сами выбираете операционную систему и устанавливаете драйвер NVIDIA и нужную вашему стеку версию CUDA из репозиториев NVIDIA или из пакетов вашего дистрибутива. Серверы предоставляются без администрирования, поэтому версии полностью под вашим контролем. Для задач на CUDA часто выбирают Ubuntu 24.04 LTS. Для контейнеров установите NVIDIA Container Toolkit, чтобы Docker или Kubernetes могли использовать GPU.

GPU L40S доступен в Ашберне, Далласе, Амстердаме и Франкфурте за $979/мес. Сервер собирается под заказ и обычно готов в тот же день, без платы за подключение и без долгосрочного контракта.