基于openEuler的Ceph分布式存儲集群部署指南

更新時間：2025年03月14日 09:48:39 作者：馮·諾依曼的

本文詳細介紹了如何在openEuler22.03LTS操作系統(tǒng)上部署Ceph分布式存儲集群,包括環(huán)境準備、軟件倉庫配置、集群初始化、存儲節(jié)點部署、存儲池創(chuàng)建、監(jiān)控集成和性能優(yōu)化等步驟,感興趣的朋友一起看看吧

環(huán)境要求

操作系統(tǒng)：openEuler 22.03 LTS（三臺云主機）
節(jié)點角色：
- storage01：mon/mgr/osd節(jié)點
- storage02：osd節(jié)點
- storage03：osd節(jié)點
磁盤規(guī)劃：每節(jié)點至少2塊磁盤（系統(tǒng)盤+數據盤/dev/sdb）

初始配置（所有節(jié)點執(zhí)行）

# 設置主機名（按節(jié)點分別執(zhí)行）
hostnamectl set-hostname storage01  # 第一節(jié)點
hostnamectl set-hostname storage02  # 第二節(jié)點
hostnamectl set-hostname storage03  # 第三節(jié)點
# 關閉防火墻和SELinux（所有節(jié)點）
systemctl stop firewalld && systemctl disable firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
# 配置時間同步（重要?。?
yum install -y chrony
systemctl enable chronyd --now
chronyc sources

軟件倉庫配置（storage01節(jié)點）

部署本地倉庫服務

# 解壓Ceph軟件包到共享目錄
tar -zxf ceph-14.2.22.tar.gz -C /opt/
# 安裝并配置HTTP服務（替代FTP）
yum install -y nginx
cat > /etc/nginx/conf.d/repo.conf << EOF
server {
    listen       80;
    server_name  localhost;
    root         /opt;
    autoindex    on;
}
EOF
# 啟動服務
systemctl enable nginx --now

其他節(jié)點配置（storage02/storage03）

# 配置倉庫文件
cat > /etc/yum.repos.d/ceph.repo << EOF
[ceph]
name=Ceph Packages
baseurl=http://storage01/ceph-14.2.22
enabled=1
gpgcheck=0
[baseos]
name=openEuler-22.03-LTS-BaseOS
baseurl=https://repo.openeuler.org/openEuler-22.03-LTS/OS/\$basearch/
enabled=1
gpgcheck=0
EOF
# 更新緩存
dnf clean all && dnf makecache

集群初始化配置

主機名解析（所有節(jié)點）

# 在storage01操作
cat >> /etc/hosts << EOF
192.168.100.11 storage01
192.168.100.12 storage02
192.168.100.13 storage03
EOF
# 同步到其他節(jié)點
scp /etc/hosts root@storage02:/etc/
scp /etc/hosts root@storage03:/etc/

SSH免密登錄

# 生成密鑰（storage01執(zhí)行）
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 分發(fā)公鑰
ssh-copy-id storage01
ssh-copy-id storage02
ssh-copy-id storage03

Ceph集群部署

安裝依賴組件

# 所有節(jié)點安裝基礎工具
dnf install -y python3 python3-pip tar
# 安裝Ceph部署工具（storage01執(zhí)行）
pip3 install ceph-deploy

初始化集群

mkdir /etc/ceph && cd /etc/ceph
ceph-deploy new storage01  # 生成初始配置
# 編輯配置文件添加兼容性參數
cat >> ceph.conf << EOF
osd_pool_default_size = 3
osd_pool_default_min_size = 1
mon_allow_pool_delete = true
EOF
# 安裝Ceph組件（全節(jié)點）
ceph-deploy install --no-adjust-repos storage01 storage02 storage03

部署監(jiān)控服務

# 初始化mon節(jié)點
ceph-deploy mon create-initial
# 禁用不安全認證
ceph config set mon auth_allow_insecure_global_id_reclaim false

部署存儲節(jié)點

# 創(chuàng)建OSD（注意：openEuler磁盤路徑可能不同）
ceph-deploy osd create --data /dev/sdb storage01
ceph-deploy osd create --data /dev/sdb storage02
ceph-deploy osd create --data /dev/sdb storage03
# 部署管理服務
ceph-deploy mgr create storage01 storage02 storage03

存儲池創(chuàng)建與驗證

# 創(chuàng)建存儲池
ceph osd pool create vms 32
ceph osd pool create images 32
ceph osd pool create volumes 32
# 設置PGP數量（必須等于PG數）
ceph osd pool set vms pgp_num 32
ceph osd pool set images pgp_num 32
ceph osd pool set volumes pgp_num 32
# 驗證集群狀態(tài)
ceph -s

關鍵驗證輸出

# ceph -s 健康狀態(tài)
  cluster:
    id:     4a3b9c8d-6e1f-4c7a-bd82-5a0f6e2c1b7a
    health: HEALTH_OK
# osd tree結構
ID CLASS WEIGHT  TYPE NAME        STATUS 
 0   hdd 0.01949     osd.0          up  
 1   hdd 0.01949     osd.1          up  
 2   hdd 0.01949     osd.2          up