2026/9/14 9:00:11
FEATURED · 精选文章 
1. 项目概述在当今数据爆炸式增长的时代企业级分布式存储系统已成为支撑现代IT基础设施的关键组件。基于RockyLinux 8.7构建的Ceph分布式存储解决方案以其卓越的性能、可靠性和扩展性正在成为越来越多企业的首选方案。Ceph作为开源的统一分布式存储系统能够同时提供对象存储、块存储和文件系统服务。而RockyLinux 8.7作为RHEL的兼容替代品为企业提供了稳定、安全且长期支持的操作系统基础。两者的结合为企业构建高性能、高可用的存储基础设施提供了理想的技术栈。2. 环境准备2.1 硬件需求规划构建企业级Ceph集群前需要仔细规划硬件配置。典型的生产环境建议管理节点至少2个配置16核CPU/32GB内存/500GB SSDOSD节点至少3个配置24核CPU/64GB内存/多块HDD或SSD网络建议10Gbps或更高带宽管理网络和存储网络分离2.2 操作系统配置在所有节点上安装RockyLinux 8.7后需要进行以下基础配置主机名与hosts文件配置hostnamectl set-hostname ceph01 echo 10.0.0.1 ceph01 /etc/hosts echo 10.0.0.2 ceph02 /etc/hosts echo 10.0.0.3 ceph03 /etc/hosts禁用SELinux和防火墙sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config systemctl disable --now firewalld配置NTP时间同步dnf install chrony -y systemctl enable --now chronyd chronyc sources创建Ceph部署用户useradd -d /home/cephadm -m cephadm echo cephadm ALL (root) NOPASSWD:ALL | tee /etc/sudoers.d/cephadm chmod 0440 /etc/sudoers.d/cephadm3. Ceph集群部署3.1 安装Cephadm工具Cephadm是Ceph官方推荐的部署工具简化了集群的安装和管理过程。在所有节点安装依赖dnf install -y podman python3 lvm2在管理节点安装cephadmcurl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm chmod x cephadm ./cephadm add-repo --release octopus ./cephadm install验证cephadm安装cephadm --version3.2 初始化Ceph集群创建初始集群cephadm bootstrap --mon-ip 10.0.0.1安装ceph-common工具cephadm install ceph-common验证集群状态ceph -s3.3 添加OSD节点将节点加入集群ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph02 ceph orch host add ceph02 10.0.0.2添加OSD存储设备ceph orch daemon add osd ceph02:/dev/sdb查看OSD树ceph osd tree4. 集群管理与维护4.1 服务管理Ceph集群中的服务可以通过多种方式进行管理使用systemctl管理单个守护进程systemctl restart ceph-4b4cc258-6679-11ee-ad4a-005056982bbamon.ceph01.service使用ceph orch管理服务ceph orch restart mon ceph orch stop grafana ceph orch start grafana4.2 节点维护将节点置入维护模式ceph orch host maintenance enter ceph02从维护模式恢复ceph orch host maintenance exit ceph02节点标签管理ceph orch host label add ceph02 osd ceph orch host label rm ceph02 osd4.3 集群监控查看集群状态ceph -s ceph health detail查看服务状态ceph orch ps ceph orch ls查看日志journalctl -u ceph-4b4cc258-6679-11ee-ad4a-005056982bbamon.ceph01.service -f5. 高级配置与优化5.1 网络配置优化配置集群网络分离ceph config set global cluster_network 10.1.0.0/24 ceph config set global public_network 10.0.0.0/24启用RDMA加速ceph config set global ms_type asyncrdma5.2 性能调优调整OSD参数ceph config set osd osd_op_num_threads 8 ceph config set osd osd_disk_threads 4启用Bluestore压缩ceph config set osd bluestore_compression_algorithm snappy ceph config set osd bluestore_compression_mode aggressive5.3 存储池配置创建存储池ceph osd pool create mypool 128 128配置EC池ceph osd pool create ecpool erasure ceph osd pool set ecpool allow_ec_overwrites true6. 故障排查与恢复6.1 常见问题处理OSD故障恢复ceph osd out osd.1 ceph osd crush remove osd.1 ceph auth del osd.1 ceph osd rm osd.1MON故障处理ceph mon remove ceph01 ceph orch daemon rm mon.ceph01PG状态异常ceph pg repair pg_id ceph pg scrub pg_id6.2 集群灾难恢复备份集群关键数据ceph mon dump mon_dump.txt ceph osd getcrushmap -o crushmap.txt恢复MON数据库ceph-mon -i ceph01 --extract-monmap /tmp/monmap ceph-mon -i ceph01 --inject-monmap /tmp/monmap7. 安全加固7.1 认证与授权创建受限用户ceph auth get-or-create client.myuser mon allow r osd allow rwx poolmypool配置CephXceph config set mon auth_cluster_required cephx ceph config set mon auth_service_required cephx ceph config set mon auth_client_required cephx7.2 网络隔离配置防火墙规则firewall-cmd --zonepublic --add-serviceceph-mon --permanent firewall-cmd --zonecluster --add-serviceceph --permanent firewall-cmd --reload启用TLS加密ceph config set global ms_cluster_mode secure ceph config set global ms_service_mode secure8. 扩展与升级8.1 集群扩展添加新节点ceph orch host add ceph04 10.0.0.4扩容OSDceph orch daemon add osd ceph04:/dev/sdc8.2 版本升级准备升级ceph orch upgrade start --image quay.io/ceph/ceph:v18.2.0监控升级进度ceph orch upgrade status完成升级ceph orch upgrade commit9. 最佳实践与经验分享在实际生产环境中部署和维护Ceph集群时积累了一些宝贵经验硬件选择使用企业级SSD作为Journal/WAL设备可显著提升性能建议每个OSD节点配置12-24个OSD以获得最佳性价比网络配置强烈建议使用独立的存储网络至少10Gbps带宽启用Jumbo framesMTU 9000可提高大块数据传输效率监控告警部署PrometheusGrafana监控栈配置关键指标告警特别关注OSD使用率、PG状态和网络延迟等指标容量规划预留20%以上的空闲空间避免集群过满导致性能下降定期进行容量预测和扩容规划备份策略对关键配置和CRUSH map进行定期备份考虑使用RBD mirroring或CephFS snapshot进行数据保护提示在生产环境部署前务必在测试环境充分验证配置和性能特别是对于大规模集群。
RockyLinux 8.7部署Ceph分布式存储集群实战
1. 项目概述在当今数据爆炸式增长的时代企业级分布式存储系统已成为支撑现代IT基础设施的关键组件。基于RockyLinux 8.7构建的Ceph分布式存储解决方案以其卓越的性能、可靠性和扩展性正在成为越来越多企业的首选方案。Ceph作为开源的统一分布式存储系统能够同时提供对象存储、块存储和文件系统服务。而RockyLinux 8.7作为RHEL的兼容替代品为企业提供了稳定、安全且长期支持的操作系统基础。两者的结合为企业构建高性能、高可用的存储基础设施提供了理想的技术栈。2. 环境准备2.1 硬件需求规划构建企业级Ceph集群前需要仔细规划硬件配置。典型的生产环境建议管理节点至少2个配置16核CPU/32GB内存/500GB SSDOSD节点至少3个配置24核CPU/64GB内存/多块HDD或SSD网络建议10Gbps或更高带宽管理网络和存储网络分离2.2 操作系统配置在所有节点上安装RockyLinux 8.7后需要进行以下基础配置主机名与hosts文件配置hostnamectl set-hostname ceph01 echo 10.0.0.1 ceph01 /etc/hosts echo 10.0.0.2 ceph02 /etc/hosts echo 10.0.0.3 ceph03 /etc/hosts禁用SELinux和防火墙sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config systemctl disable --now firewalld配置NTP时间同步dnf install chrony -y systemctl enable --now chronyd chronyc sources创建Ceph部署用户useradd -d /home/cephadm -m cephadm echo cephadm ALL (root) NOPASSWD:ALL | tee /etc/sudoers.d/cephadm chmod 0440 /etc/sudoers.d/cephadm3. Ceph集群部署3.1 安装Cephadm工具Cephadm是Ceph官方推荐的部署工具简化了集群的安装和管理过程。在所有节点安装依赖dnf install -y podman python3 lvm2在管理节点安装cephadmcurl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm chmod x cephadm ./cephadm add-repo --release octopus ./cephadm install验证cephadm安装cephadm --version3.2 初始化Ceph集群创建初始集群cephadm bootstrap --mon-ip 10.0.0.1安装ceph-common工具cephadm install ceph-common验证集群状态ceph -s3.3 添加OSD节点将节点加入集群ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph02 ceph orch host add ceph02 10.0.0.2添加OSD存储设备ceph orch daemon add osd ceph02:/dev/sdb查看OSD树ceph osd tree4. 集群管理与维护4.1 服务管理Ceph集群中的服务可以通过多种方式进行管理使用systemctl管理单个守护进程systemctl restart ceph-4b4cc258-6679-11ee-ad4a-005056982bbamon.ceph01.service使用ceph orch管理服务ceph orch restart mon ceph orch stop grafana ceph orch start grafana4.2 节点维护将节点置入维护模式ceph orch host maintenance enter ceph02从维护模式恢复ceph orch host maintenance exit ceph02节点标签管理ceph orch host label add ceph02 osd ceph orch host label rm ceph02 osd4.3 集群监控查看集群状态ceph -s ceph health detail查看服务状态ceph orch ps ceph orch ls查看日志journalctl -u ceph-4b4cc258-6679-11ee-ad4a-005056982bbamon.ceph01.service -f5. 高级配置与优化5.1 网络配置优化配置集群网络分离ceph config set global cluster_network 10.1.0.0/24 ceph config set global public_network 10.0.0.0/24启用RDMA加速ceph config set global ms_type asyncrdma5.2 性能调优调整OSD参数ceph config set osd osd_op_num_threads 8 ceph config set osd osd_disk_threads 4启用Bluestore压缩ceph config set osd bluestore_compression_algorithm snappy ceph config set osd bluestore_compression_mode aggressive5.3 存储池配置创建存储池ceph osd pool create mypool 128 128配置EC池ceph osd pool create ecpool erasure ceph osd pool set ecpool allow_ec_overwrites true6. 故障排查与恢复6.1 常见问题处理OSD故障恢复ceph osd out osd.1 ceph osd crush remove osd.1 ceph auth del osd.1 ceph osd rm osd.1MON故障处理ceph mon remove ceph01 ceph orch daemon rm mon.ceph01PG状态异常ceph pg repair pg_id ceph pg scrub pg_id6.2 集群灾难恢复备份集群关键数据ceph mon dump mon_dump.txt ceph osd getcrushmap -o crushmap.txt恢复MON数据库ceph-mon -i ceph01 --extract-monmap /tmp/monmap ceph-mon -i ceph01 --inject-monmap /tmp/monmap7. 安全加固7.1 认证与授权创建受限用户ceph auth get-or-create client.myuser mon allow r osd allow rwx poolmypool配置CephXceph config set mon auth_cluster_required cephx ceph config set mon auth_service_required cephx ceph config set mon auth_client_required cephx7.2 网络隔离配置防火墙规则firewall-cmd --zonepublic --add-serviceceph-mon --permanent firewall-cmd --zonecluster --add-serviceceph --permanent firewall-cmd --reload启用TLS加密ceph config set global ms_cluster_mode secure ceph config set global ms_service_mode secure8. 扩展与升级8.1 集群扩展添加新节点ceph orch host add ceph04 10.0.0.4扩容OSDceph orch daemon add osd ceph04:/dev/sdc8.2 版本升级准备升级ceph orch upgrade start --image quay.io/ceph/ceph:v18.2.0监控升级进度ceph orch upgrade status完成升级ceph orch upgrade commit9. 最佳实践与经验分享在实际生产环境中部署和维护Ceph集群时积累了一些宝贵经验硬件选择使用企业级SSD作为Journal/WAL设备可显著提升性能建议每个OSD节点配置12-24个OSD以获得最佳性价比网络配置强烈建议使用独立的存储网络至少10Gbps带宽启用Jumbo framesMTU 9000可提高大块数据传输效率监控告警部署PrometheusGrafana监控栈配置关键指标告警特别关注OSD使用率、PG状态和网络延迟等指标容量规划预留20%以上的空闲空间避免集群过满导致性能下降定期进行容量预测和扩容规划备份策略对关键配置和CRUSH map进行定期备份考虑使用RBD mirroring或CephFS snapshot进行数据保护提示在生产环境部署前务必在测试环境充分验证配置和性能特别是对于大规模集群。 
