PVE 环境下 1500+ WordPress 站点的性能救赎之路

—— 从 SAS RAID5 到 NVMe 直通与内网万兆互联架构。

以下内容根据实际生产环境进行编写，部分内容参考了互联网上的内容，以及经过了AI的润色，请结合自己实际情况进行调整。

1. 现状与瓶颈诊断

环境背景：

  • 物理机：DELL EMC 96C / 256G / 10TB SAS / RAID 5。
  • 业务：单台 Debian 虚拟机(88C/200G)承载 1500 个 WordPress 站点。
  • 现象：尽管接入 Cloudflare 清洗流量，CPU 长期处于 I/O Wait，网站响应缓慢，经常出现 502/504。

根本原因分析：

  1. 存储介质瓶颈：机械硬盘 RAID 5 存在严重的写惩罚 (Write Penalty)。SAS 盘单盘 IOPS 约 150-200，面对 1500 个站点的并发 MySQL 写入（Binlog, Redolog, Undo Log）及 PHP Session/日志写入，磁头寻道时间已耗尽。
  2. 架构缺陷：Web 服务与数据库服务混跑在同一虚拟机，且共享同一组物理磁盘，造成严重的 I/O 争抢。
  3. 云数据库不可行：本地 Ping 云服务器延迟 5.8ms。WordPress 单页面渲染涉及 20-100 次串行 SQL 查询，5.8ms 延迟会被放大至 300ms+，导致 PHP-FPM 进程阻塞积压，瞬间打满内存。

最终决策：放弃云数据库，采用 本地 NVMe 直通 + PVE 内网互联 方案。

2. 硬件改造：引入企业级 NVMe

选型原则：

  • 严禁使用消费级 SSD（如 Samsung 980/990 Pro）。无掉电保护 (PLP)，数据库断电必丢数据；且缓存写满后性能暴跌。
  • 必须组 RAID 1。单盘无冗余是生产环境大忌。

推荐清单：

  • 型号：Intel D7-P5520 / Samsung PM9A3 (U.2 接口)。
  • 容量：3.84TB x 2 (组 RAID 1)。
  • 连接：通过 PCIe x4 转 U.2 转接卡接入主板 PCIe 插槽。

3. 实施步骤 A：存储层 (PCIe Passthrough)

为了榨干 NVMe 的性能，不使用 PVE 的虚拟磁盘（VirtIO Block），直接将 PCIe 控制器直通给虚拟机。

3.1 宿主机开启 IOMMU

在 PVE Shell 中操作：

Bash

nano /etc/default/grub
# 修改如下 (Intel CPU):
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
update-grub
reboot

验证：dmesg | grep -e DMAR -e IOMMU 有输出即成功。

3.2 虚拟机直通配置

  1. 确认 NVMe ID：lspci -nn | grep Non-Volatile (记下 ID 如 04:00.0)。
  2. PVE 界面 -> DB 虚拟机 -> 硬件 -> 添加 PCI 设备 -> 选择对应 ID -> 勾选 “All Functions” 和 “PCI-Express”。
  3. 警告：直通后该虚拟机无法使用 PVE 快照功能，备份需改用文件级或数据库级备份。

3.3 虚拟机内部组建 RAID 1

在 DB 虚拟机（Debian）内部操作：

Bash

# 1. 安装工具
apt install mdadm

# 2. 创建软 RAID 1 (假设盘符为 nvme0n1 和 nvme1n1)
mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/nvme0n1 /dev/nvme1n1

# 3. 格式化并挂载
mkfs.ext4 /dev/md0
mkdir -p /var/lib/mysql_data
mount /dev/md0 /var/lib/mysql_data

# 4. 写入 fstab (防止重启丢失)
echo "UUID=$(blkid -s UUID -o value /dev/md0) /var/lib/mysql_data ext4 defaults 0 0" >> /etc/fstab

# 5. 保存 RAID 配置
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
update-initramfs -u

4. 实施步骤 B：网络层 (VirtIO Internal Fabric)

利用内存拷贝实现虚拟机间通信，带宽可达 20Gbps+，延迟 < 0.1ms。

4.1 PVE 宿主机网络架构

创建独立网桥，不绑定任何物理网口，实现物理隔离。

  • 设备：vmbr1
  • IP/网关：全部留空
  • Bridge Ports：留空
  • MTU：9000 (关键：开启巨型帧以降低 CPU 中断消耗)

4.2 虚拟机网卡配置

为 Web VM 和 DB VM 分别添加第二张网卡：

  • 桥接：vmbr1
  • 模型：VirtIO
  • 防火墙：关闭 (Firewall=No，减少内核包过滤开销)

4.3 系统内网配置 (Debian /etc/network/interfaces)

DB Server (192.168.10.20):

Plaintext

auto ens19
iface ens19 inet static
    address 192.168.10.20
    netmask 255.255.255.0
    mtu 9000

Web Server (192.168.10.10):

Plaintext

auto ens19
iface ens19 inet static
    address 192.168.10.10
    netmask 255.255.255.0
    mtu 9000

注：配置完成后需 systemctl restart networking 并互 ping 测试。

5. 实施步骤 C：应用层迁移与调优

5.1 MySQL 针对 NVMe 调优 (my.cnf)

默认配置无法发挥 NVMe 性能，必须修改 IO 相关参数。

Ini, TOML

[mysqld]
datadir = /var/lib/mysql_data

# 内存分配 (假设 VM 64G 内存)
innodb_buffer_pool_size = 48G
innodb_log_file_size = 4G

# NVMe 核心优化
innodb_io_capacity = 20000        # 释放 SSD 性能
innodb_io_capacity_max = 40000
innodb_flush_neighbors = 0        # SSD 不需要邻近刷新
innodb_flush_method = O_DIRECT    # 绕过系统缓存
skip-name-resolve                 # 禁用 DNS 反查
bind-address = 0.0.0.0            # 允许内网连接

5.2 权限迁移

在 DB Server 执行：

SQL

-- 创建允许内网段访问的用户
GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.10.%' IDENTIFIED BY 'PASSWORD' WITH GRANT OPTION;
FLUSH PRIVILEGES;

注意：如果每个 WP 站点使用独立用户，需批量修改 mysql.user 表中的 Host 字段为 192.168.10.10。

5.3 批量修改 wp-config.php

在 Web Server 站点根目录执行，将 localhost 批量替换为内网 DB IP。

Bash

# 备份是个好习惯
# cp -r /var/www/html /var/www/html_backup 

# 批量替换 DB_HOST
find /var/www/html -name "wp-config.php" -exec sed -i "s/define( *'DB_HOST', *'localhost' *);/define( 'DB_HOST', '192.168.10.20' );/g" {} +

6. 最终检查清单

  1. I/O 验证：在 DB VM 执行 iostat -mx 1，确认 svctm 和 await 处于微秒级。
  2. 网络验证：使用 iperf3 压测 Web 与 DB 间带宽，预期应 > 15Gbps。
  3. WP 验证：随机抽取站点，检查页面加载速度及 PHP 错误日志。
  4. 安全验证：在 DB VM 上使用 iptables 封锁 3306 端口，仅允许 192.168.10.10 访问。

架构收益总结：

此方案通过物理隔离 I/O（NVMe 直通）和逻辑隔离网络（VirtIO 网桥），彻底消除了 SAS 机械硬盘的随机读写瓶颈，是目前单机 PVE 环境下最高性能的 WordPress 托管架构。

标签

相关文章