PVE 超融合方案实战：Ceph 存储的部署、管理与故障排除

 引言 

在 Proxmox VE（PVE）集群中，Ceph 是一个强大的分布式存储系统，能够提供高可用、可扩展的存储解决方案。

它特别适合超融合架构（HCI），让计算和存储资源在同一批服务器上运行，既节省成本又提高性能。

本文将从 Ceph 的部署、日常管理、性能优化 到 常见故障排查，一步步带你掌握 PVE 上的 Ceph 存储方案。

1. Ceph 在 PVE 中的作用

Ceph 是一个开源的分布式存储系统，在 PVE 中主要用于：

• • 存储虚拟机（VM）和容器（LXC）的磁盘（通过 RBD 块存储）。
• • 提供共享文件系统（CephFS），可用于存放 ISO 镜像、备份等。
• • 支持对象存储（RADOS Gateway，可选）。

它的核心优势： ✅ 高可用：数据默认 3 副本存储，即使一台服务器宕机，数据仍然可用。
✅ 弹性扩展：可以随时添加硬盘或节点来扩容存储。
✅ 自动均衡：Ceph 会自动调整数据分布，优化性能和空间利用率。

2. Ceph 部署指南

（1）硬件准备

• • 服务器：至少 3 台 PVE 节点（推荐相同配置）。
• • 存储：每台服务器至少 1 块 SSD（用于系统） + 多块 HDD/SSD（用于 Ceph OSD）。
• • 网络：建议 10Gbps 或更高，并启用 MTU 9000（巨型帧） 以减少延迟。

（2）安装 Ceph

在 PVE Web 界面操作：

1. 1. 创建 Ceph 集群：
• • 进入 PVE 集群 > Ceph > 安装，选择所有节点，点击“安装 Ceph”。
2. 2. 添加 OSD（存储设备）：
• • 进入 Ceph > OSD，选择每台服务器上的硬盘，格式化为 OSD。
3. 3. 创建存储池（Pool）：
• • 在 Ceph > Pool 中新建 Pool，推荐使用 3 副本（Replicated） 模式。

# 命令行方式创建 Pool（可选）
pveceph pool create vm_storage --pg_num 128 --add_storages

3. Ceph 日常管理

（1）监控集群状态

ceph -s          # 查看集群健康状态
ceph osd df      # 查看 OSD 使用情况
ceph df          # 查看存储池空间使用

（2）扩容存储

• • 增加 OSD：在 Ceph > OSD 中添加新硬盘。
• • 增加节点：在新服务器上安装 PVE 并加入 Ceph 集群。

（3）调整副本数

ceph osd pool set vm_storage size 3  # 设置 3 副本（默认）
ceph osd pool set vm_storage min_size 2  # 允许降级时仍可写入

4. 性能优化技巧

（1）网络优化

• • 使用 10G/40G 网络，并开启 Jumbo Frames（MTU 9000）。
• • 如果支持，可启用 RDMA（RoCE） 进一步降低延迟。

（2）OSD 优化

• • SSD + HDD 混合存储：用 SSD 作为 WAL/DB 设备，提升 HDD 的随机写入性能。
• • 调整 OSD 参数（在 /etc/ceph/ceph.conf 中修改）：

  osd_op_threads = 8
  osd_recovery_max_active = 4

（3）BIOS 优化

• • 关闭 CPU 节能模式（设置为 Performance）。
• • 开启 VT（虚拟化支持）。

5. 常见故障排查

（1）OSD 故障

ceph osd out osd.0  # 下线故障 OSD
pveceph osd destroy 0  # 彻底移除 OSD
ceph osd crush rm osd.0  # 从 CRUSH Map 删除（可选）

（2）节点宕机

• • 如果节点宕机但 OSD 仍在运行：

  ceph osd set noout  # 防止自动恢复导致网络拥堵
  ceph osd unset noout  # 恢复后取消

（3）存储池（Pool）空间不足

ceph osd pool set vm_storage pg_num 256  # 增加 PG 数量（需谨慎）
ceph osd pool set vm_storage pgp_num 256  # 同步调整 PGP

总结

PVE + Ceph 是构建超融合集群的理想方案，既能提供高性能存储，又能保证数据高可用。本文介绍了：

• • Ceph 的部署流程（硬件要求、安装步骤）。
• • 日常管理（监控、扩容、调整副本）。
• • 性能优化（网络、OSD、BIOS 调优）。
• • 常见故障排查（OSD 故障、节点宕机、Pool 调整）。

如果你正在规划 PVE 集群存储方案，Ceph 绝对值得尝试！?

打赏

支付宝微信扫一扫，打赏作者吧～

本文链接：https://www.kinber.cn/post/5385.html 转载需授权！

推荐本站淘宝优惠价购买喜欢的宝贝:

 您阅读本篇文章共花了：