在单租户硬件上构建你的私有云

Proxmox VE 就在一键系统镜像库中，集群当天就能运行起来。至少规划三个节点：Corosync 需要多数节点在线才能维持仲裁（quorum），Ceph 需要三台主机才能把三个副本分开存放。如果只有两个节点，可在第三台小型机器上部署外部仲裁设备（QDevice）。

• 网络：Corosync、Ceph 和虚拟机流量分别放在不同的 VLAN 上，至少也要划分到内网的不同子网；公网接口只暴露管理和对外服务。
• 存储：每个节点四块 NVMe Gen5 硬盘，Ceph 采用 3 副本时，可用容量约为原始容量的三分之一。粗略估算，三台 Max 96 节点原始容量 92 TB，可用约 30 TB，这还没有扣除为数据恢复预留的 20% 至 30% 空闲空间。
• 不用 Ceph：每个节点使用 ZFS，配合 Proxmox 存储复制，适合两到三个节点的集群，前提是你能接受异步副本。

要从 VMware 迁出？Proxmox VE 内置 ESXi 虚拟机导入向导。详见我们的指南：在独立服务器上部署 Proxmox。

直接在裸金属上运行 Kubernetes，可以省掉一层虚拟化，让 Pod 获得节点全部的 CPU、内存和 NVMe 带宽。同时，原本由云服务商处理的工作也要由你接手：

• 负载均衡：没有云负载均衡器，可用 MetalLB 或 kube-vip 宣告 Service IP。额外的 IPv4 地址可按需申请。
• 存储：自带复制能力的数据库使用本地 NVMe 卷；需要多副本块存储时，使用 Rook-Ceph 或 Longhorn。
• 网络：使用 Cilium 或 Calico 作为 CNI，Pod 之间的流量走私有 VLAN。
• 控制平面：部署三个控制平面节点以维持 etcd 仲裁；在大型主机上，可以把它们作为小型虚拟机运行在 Proxmox VE 中，而不必专门占用三台服务器。

kubeadm、k3s 和 RKE2 可安装在 Ubuntu 或 Debian 上。如需 Talos Linux 或其他不可变操作系统，可通过 KVM 控制台引导其 ISO。在 Max 192 这类双路 Worker 节点上，启用 kubelet 的 Topology Manager，让延迟敏感型 Pod 保持在同一个 NUMA 节点上。

每台服务器包含 1 个 IPv4 地址和 1 个 /64 IPv6 地址块，额外的 IPv4 地址可按需申请。动手搭建之前，先规划好地址：

• 公网：每个节点使用独立的 IPv4 地址进行管理；如果你的用户支持 IPv6，就用 /64 地址块为虚拟机和服务分配地址。
• 内网：为私有 VLAN 选用 RFC 1918 地址段，每种角色（集群、存储、租户）一个子网，并尽早记录在文档中。
• 租户隔离：Proxmox VE SDN 可以在内网之上构建 VXLAN 或 EVPN 区域，为每个团队或客户提供独立的网段。
• 边界：虚拟机流量经由防火墙虚拟机（如 OPNsense）或宿主机上的 nftables 转发，Proxmox Web 界面和 SSH 不要暴露在公网上。

内网覆盖同一机房内的服务器。如需跨机房连接集群，可在公网接口上运行 WireGuard 或 IPsec：流量不限，站点间复制不产生传输费用。每个 IP 都处于始终开启的 DDoS 防护之下。