Установка Proxmox VE на выделенный сервер

Proxmox VE превращает выделенный сервер в хост для виртуальных машин KVM и контейнеров LXC, которыми можно управлять через веб-интерфейс или из командной строки. В этом руководстве описаны установка Proxmox VE на сервер FlexDedi и настройки, важные для машины с публичным IP-адресом: репозитории, обновления, хранилище, сеть, межсетевой экран и резервное копирование.

Команды приведены для Proxmox VE 9, основанного на Debian 13 «Trixie». Там, где Proxmox VE 8 (Debian 12 «Bookworm») отличается, показан и вариант для 8.x. Все команды выполняйте от root на хосте.

Выберите способ установки

Образ для установки в один клик. Proxmox VE есть в библиотеке ОС наряду с Ubuntu, Debian, AlmaLinux, Rocky Linux и Windows Server. Выберите его при заказе или переустановке из панели управления — и сервер запустится с уже установленным Proxmox VE. Прежде чем создавать гостевые системы, проверьте, какая схема хранения используется, как описано в разделе о хранилище ниже.

Официальный ISO-образ через консоль KVM. Этот вариант подходит, если вы хотите сами выбрать файловую систему, разметку дисков или конкретный выпуск. Консоль HTML5 KVM может загрузить любой ISO-образ, а подключение виртуальных носителей описано в документации по IPMI и KVM.

Третий путь — сначала установить Debian, а затем добавить пакеты Proxmox — тоже работает, но требует больше шагов. Он оправдан только при нестандартной разметке дисков.

Установка с ISO-образа

1. Скачайте актуальный ISO-образ Proxmox VE 9 с сайта Proxmox и сверьте его контрольную сумму SHA-256 с опубликованным значением.
2. Откройте консоль KVM из панели управления, подключите ISO-образ как виртуальный носитель и перезагрузите сервер с него.
3. На экране выбора целевого диска откройте Options и выберите zfs (RAID1), отметив оба NVMe-накопителя. На серверах с четырьмя накопителями, например Pro 64, вариант zfs (RAID10) задействует все четыре.
4. Укажите страну, часовой пояс и раскладку клавиатуры, затем надёжный пароль root и адрес электронной почты для уведомлений.
5. На экране настройки сети выберите интерфейс, подключённый к публичной сети, и введите IPv4-адрес сервера с префиксом, шлюз и DNS-сервер — так, как они указаны в панели управления. Используйте полное доменное имя хоста (FQDN), например pve1.example.com.
6. Проверьте сводку, запустите установку, отключите ISO-образ и перезагрузите сервер.

Затем откройте в браузере https://YOUR_SERVER_IP:8006 и войдите как root, выбрав область аутентификации (realm) Linux PAM. Пока вы не замените самоподписанный сертификат, браузер будет выдавать предупреждение; встроенный клиент ACME может запросить сертификат Let's Encrypt (Datacenter → ACME, затем панель Certificates на узле).

Переключитесь на репозиторий без подписки

После установки APT настроен на корпоративный репозиторий (enterprise), для которого нужен ключ подписки; без него apt update завершается ошибкой авторизации. Хосты без подписки используют вместо него репозиторий pve-no-subscription. Для продакшена Proxmox рекомендует корпоративный репозиторий, поскольку пакеты из репозитория без подписки проходят меньше тестирования перед выпуском.

В Proxmox VE 9 репозитории описываются в формате deb822 .sources. Добавьте Enabled: no к записи в /etc/apt/sources.list.d/pve-enterprise.sources и сделайте то же самое в /etc/apt/sources.list.d/ceph.sources, если этот файл указывает на enterprise.proxmox.com. Отредактированный файл корпоративного репозитория выглядит так:

Types: deb
URIs: https://enterprise.proxmox.com/debian/pve
Suites: trixie
Components: pve-enterprise
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
Enabled: no

Затем добавьте репозиторий без подписки:

cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF

В Proxmox VE 8 репозитории описываются однострочными файлами .list:

sed -i 's/^deb/# deb/' /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription" \
  > /etc/apt/sources.list.d/pve-no-subscription.list

Таким же образом закомментируйте /etc/apt/sources.list.d/ceph.list, если в нём указан адрес корпоративного репозитория. Все эти изменения можно внести и в веб-интерфейсе, в панели узла Updates → Repositories. Без подписки веб-интерфейс также показывает при входе уведомление «No valid subscription». Оно носит информационный характер, а патчи файлов интерфейса, которые его скрывают, ломаются при обновлениях.

Обновите хост

apt update
apt full-upgrade
pveversion
reboot   # when a new kernel was installed

Всегда обновляйте Proxmox VE командой apt full-upgrade (или apt dist-upgrade) и никогда — простой apt upgrade. В выпусках Proxmox регулярно добавляются или заменяются зависимости, и частичное обновление может оставить хост в несогласованном состоянии.

Хранилище: ZFS или LVM-thin на NVMe

Установщик создаёт одну из двух схем. С ZFS система размещается в пуле rpool, а диски гостевых систем — в хранилище local-zfs. С ext4 или XFS группа томов pve содержит тонкий пул data, доступный как хранилище local-lvm. Проверьте, какая схема у вас:

pvesm status
zpool status   # ZFS installs
lvs pve        # LVM-thin installs

На сервере с двумя NVMe-накопителями правильный выбор по умолчанию — зеркало ZFS. Это единственный вариант локального программного RAID, который поддерживает Proxmox; кроме того, зеркало ZFS обнаруживает скрытые повреждения данных, которые обычное зеркало добросовестно скопировало бы. LVM-thin на одном накопителе прост и быстр, но не даёт избыточности, а запуск его поверх Linux mdadm RAID Proxmox не поддерживает.

Начиная с Proxmox VE 8.1 установщик задаёт для ZFS ARC предел в 10% RAM, но не более 16 ГиБ. На Pro 32 с 384 ГБ это ограничение составляет 16 ГиБ, а остальная память остаётся гостевым системам. Чтобы изменить его, например на 32 ГиБ:

echo "options zfs zfs_arc_max=34359738368" > /etc/modprobe.d/zfs.conf
update-initramfs -u -k all                                 # required when root is on ZFS
echo 34359738368 > /sys/module/zfs/parameters/zfs_arc_max  # apply without a reboot

На серверах с четырьмя накопителями вместо RAID10 можно установить систему на зеркало из двух накопителей, а гостевым системам выделить отдельное зеркало на двух других. Создавайте такой пул с постоянными идентификаторами дисков, а не с именами /dev/nvme, которые могут меняться между загрузками:

ls -l /dev/disk/by-id/ | grep nvme
zpool create -o ashift=12 tank mirror /dev/disk/by-id/nvme-DISK_C /dev/disk/by-id/nvme-DISK_D
pvesm add zfspool tank-vm --pool tank --content images,rootdir --sparse 1

Сеть: публичный IP-адрес и частная VLAN

После установки в /etc/network/interfaces описан мост vmbr0: он подключён к физическому порту, и на нём настроен публичный IP-адрес хоста. Гостевые системы, подключённые к vmbr0, находятся непосредственно в публичной сети, а это работает, только если у них есть публичные адреса, которые принимает сеть. Если у сервера один IPv4-адрес, входящий в комплект, гостевые системы обычно используют его совместно через NAT, а публичные IPv6-адреса им даёт блок /64 сервера; настройка описана в документации по IPv6.

NAT для гостевых систем

Создайте мост без физического порта и настройте маскарадинг его подсети через публичный мост. Добавьте в конец /etc/network/interfaces:

auto vmbr1
iface vmbr1 inet static
    address 10.10.10.1/24
    bridge-ports none
    bridge-stp off
    bridge-fd 0
    post-up   echo 1 > /proc/sys/net/ipv4/ip_forward
    post-up   iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
    post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
    post-up   iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1
    post-down iptables -t raw -D PREROUTING -i fwbr+ -j CT --zone 1

Две строки с CT --zone обеспечивают корректное отслеживание соединений, когда для гостевых систем включён межсетевой экран Proxmox. Примените изменения командой ifreload -a, а затем назначьте каждой гостевой системе статический адрес из 10.10.10.0/24 со шлюзом 10.10.10.1. Чтобы опубликовать сервис, перенаправьте порт на гостевую систему парой соответствующих строк в той же секции:

    post-up   iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 8443 -j DNAT --to-destination 10.10.10.20:443
    post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 8443 -j DNAT --to-destination 10.10.10.20:443

Если гостевым системам нужны собственные публичные IPv4-адреса, дополнительные IPv4 предоставляются по запросу. Уточните в поддержке, маршрутизируются ли эти адреса через ваш основной IP или доступны напрямую (on-link): от этого зависит, подключать ли гостевые системы к vmbr0 напрямую или размещать их за маршрутизируемым мостом.

Частная VLAN между вашими серверами

Бесплатная частная сеть объединяет ваши серверы FlexDedi в одной локации, а внутренний трафик не тарифицируется. Используйте её для трафика кластера, живой миграции, резервного копирования и репликации, чтобы ничего из этого не проходило через публичный интерфейс. В примере предполагается VLAN 100 на порту eno1; подставьте интерфейс и VLAN ID согласно документации по частной сети:

auto eno1.100
iface eno1.100 inet manual

auto vmbr2
iface vmbr2 inet static
    address 10.0.0.11/24
    bridge-ports eno1.100
    bridge-stp off
    bridge-fd 0

Если частная сеть приходит без тегов на второй порт, укажите в bridge-ports этот порт. Гостевые системы на vmbr2 получают доступ к другим вашим серверам по частной сети, а кластер Proxmox должен передавать трафик corosync именно через неё, а не через публичную сеть. Кластерам нужна низкая задержка, поэтому каждый кластер держите в пределах одной локации.

Межсетевой экран

Межсетевой экран Proxmox работает на трёх уровнях — дата-центра, узла и гостевой системы — и по умолчанию отключён. Прежде чем включать его, держите открытой SSH-сессию на хосте и консоль KVM под рукой, чтобы ошибка в правилах не лишила вас доступа.

На хосте с публичным адресом внимания требуют две настройки по умолчанию. Псевдоним local_network определяется по собственной подсети хоста, поэтому на публичном IP он может включать адреса, которые вы не контролируете, и Proxmox рекомендует на таких хостах переопределять его. Набор IP-адресов management содержит адреса, которым разрешён доступ к веб-интерфейсу и SSH. Минимальный /etc/pve/firewall/cluster.fw:

[OPTIONS]
enable: 1
policy_in: DROP

[ALIASES]
local_network 10.0.0.0/24 # private VLAN, not the public subnet

[IPSET management]
203.0.113.10 # admin workstation or VPN exit

[RULES]
IN Ping(ACCEPT)

pve-firewall localnet   # shows the local network the firewall uses
pve-firewall status

Затем включите межсетевой экран для каждой гостевой системы в разделе Firewall → Options и разрешите только те порты, которые она публикует. Межсетевой экран Proxmox и постоянно включённая защита FlexDedi от DDoS решают разные задачи: первый определяет, какие сервисы доступны, вторая фильтрует объёмные атаки ещё на подходе к серверу. Нужно и то и другое.

Резервное копирование на второй сервер

RAID и зеркала ZFS защищают от отказа накопителя, но не от удалённой ВМ, неудачного обновления или взлома хоста. Делайте резервные копии на другую машину.

Естественный выбор — Proxmox Backup Server (PBS): инкрементные резервные копии ВМ и контейнеров с дедупликацией, шифрование на стороне клиента, задания проверки и быстрое восстановление. Установите его с ISO-образа через консоль KVM на второй сервер в той же локации, чтобы резервные копии передавались по частной VLAN. Storage 264 даст ему 264 ТБ сырой дисковой ёмкости, а для небольшой инфраструктуры хватит Core 16. Для хранилищ данных (datastore) Proxmox рекомендует SSD; для пула на жёстких дисках обычный компромисс — зеркальное специальное устройство (special device) на NVMe для метаданных.

В Proxmox VE добавьте сервер резервного копирования в разделе Datacenter → Storage → Add → Proxmox Backup Server, указав его частный адрес, имя хранилища данных (datastore), отдельного пользователя для резервного копирования и отпечаток сертификата сервера. Задания по расписанию настраиваются в разделе Datacenter → Backup. Разовое резервное копирование из командной строки:

vzdump 100 --storage pbs1 --mode snapshot

Для внешней копии запустите задание синхронизации со второго PBS в другой локации. Частная сеть не выходит за пределы локации, поэтому такая копия передаётся по публичной сети через TLS; включите шифрование на стороне клиента, если удалённая площадка не должна иметь возможности её прочитать. Трафик безлимитный, поэтому репликация резервных копий между регионами не добавляет платы за передачу данных. И наконец, проверяйте восстановление: резервная копия, из которой вы ни разу не восстанавливались, — всего лишь гипотеза.

Запуск на FlexDedi

Pro 32 ($749/мес.) станет полноценным первым хостом Proxmox: 32 ядра, 384 ГБ DDR5-6000 ECC в 12 каналах и 2 × 3,84 ТБ NVMe Gen5 для зеркала ZFS. У Pro 64 ($1 349/мес.) вдвое больше ядер, 768 ГБ RAM, четыре NVMe-накопителя для ZFS RAID10 и порты 2 × 25 Гбит/с. Core 16 ($299/мес.) подойдёт для тестового стенда или нескольких ВМ. Дополните любой из них сервером Storage 264 ($699/мес.) для резервного копирования, а о многоузловых архитектурах читайте на странице «Частное облако».