Постройте частное облако на оборудовании без соседей

Proxmox VE есть в библиотеке ОС с установкой в один клик, поэтому кластер может заработать в тот же день. Закладывайте минимум три узла: Corosync нужно большинство голосов для кворума, а Ceph — три хоста, чтобы разнести три реплики. При двух узлах добавьте внешнее кворумное устройство (QDevice) на небольшой третьей машине.

• Сети: разведите трафик Corosync, Ceph и ВМ по отдельным VLAN или хотя бы по разным подсетям частной сети, а на публичный интерфейс выводите только управление и публичные сервисы.
• Хранилище: при четырёх накопителях NVMe Gen5 на узел Ceph с репликацией 3× даёт около трети сырой ёмкости. Ориентировочно у трёх узлов Max 96 — 92 ТБ сырой ёмкости и примерно 30 ТБ полезной, ещё без учёта 20–30% свободного места, которое нужно оставить для восстановления.
• Без Ceph: ZFS на каждом узле с репликацией хранилища Proxmox хорошо работает для двух-трёх узлов, если вас устраивают асинхронные копии.

Уходите с VMware? В Proxmox VE есть мастер импорта виртуальных машин ESXi. Подробнее — в нашем руководстве Proxmox на выделенном сервере.

Kubernetes прямо на bare metal избавляет от слоя виртуализации и отдаёт подам все ресурсы CPU и памяти и всю пропускную способность NVMe узла. Но то, чем иначе занимался бы облачный провайдер, вы берёте на себя:

• Балансировка нагрузки: облачного балансировщика нет, поэтому анонсируйте IP-адреса сервисов через MetalLB или kube-vip. Дополнительные IPv4-адреса предоставляются по запросу.
• Хранилище: локальные тома на NVMe для баз данных, которые реплицируются сами, или Rook-Ceph либо Longhorn для реплицируемого блочного хранилища.
• Сеть: Cilium или Calico в роли CNI, трафик между подами — по частной VLAN.
• Control plane: три узла control plane для кворума etcd; на крупных хостах запускайте их как небольшие ВМ под Proxmox VE, а не выделяйте под них три сервера.

kubeadm, k3s и RKE2 устанавливаются на Ubuntu или Debian. Для Talos Linux или другой неизменяемой ОС загрузите её ISO-образ через консоль KVM. На двухсокетных воркерах вроде Max 192 включите Topology Manager в kubelet, чтобы чувствительные к задержкам поды оставались в пределах одного NUMA-узла.

В каждый сервер входит один IPv4-адрес и блок IPv6 /64, а дополнительные IPv4-адреса предоставляются по запросу. Спланируйте адресацию до начала сборки:

• Публичные адреса: выделите каждому узлу собственный IPv4-адрес для управления, а /64 используйте для ВМ и сервисов там, где у ваших пользователей есть IPv6.
• Частные адреса: выберите для частной VLAN диапазоны RFC 1918, по одной подсети на роль (кластер, хранилище, тенанты), и сразу задокументируйте их.
• Изоляция тенантов: Proxmox VE SDN может строить зоны VXLAN или EVPN поверх частной сети, выделяя каждой команде или клиенту собственный сегмент.
• Периметр: пропускайте трафик ВМ через ВМ-файрвол, например OPNsense, или через nftables на хосте, а веб-интерфейс Proxmox и SSH закройте от публичного интернета.

Частная сеть охватывает серверы в пределах одной локации. Чтобы связать кластеры в разных локациях, поднимите WireGuard или IPsec поверх публичных интерфейсов: трафик безлимитный, поэтому репликация между площадками не добавляет платы за трафик. Каждый IP остаётся под постоянно включённой защитой от DDoS.