ceph的quincy是ceph的第17个版本,初始发行时间是2022-04-19,本文将通过cephadm工具来搭建quincy的集群。

规划

三台Rocky Linux 8.7服务器,4核CPU,4G内存,根磁盘50GB,数据盘一个100GB(磁盘无需初始化操作,fdisk -l中可见即可)

1


2

3

10.10.10.161 ceph1


10.10.10.162 ceph2

10.10.10.163 ceph3

关闭防火墙关闭selinux,如不关闭,则需要自行放行端口

1


2

3

4

systemctl stop firewalld


systemctl disable firewalld

setenforce 0

sed -i ‘s/^SELINUX=.*/SELINUX=disabled/’ /etc/selinux/config

以下1~4步分别在三台节点中执行

1、同步时间

如果你想使用传统的ntpdate同步时间,可参考https://www.wlnmp.com/post-664.html

建议使用新的时间同步方式chrony,此处不做过多说明,时间同步都不会,后面的教程你也搞不定!

2、分别对应修改三台机器hostname

1


2

3

hostnamectl set-hostname ceph1


hostnamectl set-hostname ceph2

hostnamectl set-hostname ceph3

3、在三台机器分别添加配置hosts

1


2

3

10.10.10.161 ceph1


10.10.10.162 ceph2

10.10.10.163 ceph3

4、在三台机器分别安装配置podman

1dnf install yum-utils python3 podman

以下内容仅在ceph1中执行

5、安装cephadm

1curl –silent –remote-name –location https://github.com/ceph/ceph/raw/quincy/src/cephadm/cephadm

1curl -o cephadm –silent –remote-name –location http://down.whsir.com/downloads/cephadm17

6、给予cephadm执行权限

1chmod +x cephadm

7、安装cephadm到当前节点

1


2

dnf install –assumeyes centos-release-ceph-quincy


dnf install –assumeyes cephadm

8、引导ceph集群

1cephadm bootstrap –mon-ip 10.10.10.161

9、安装Ceph CLI

方法一:通过交互模式执行ceph等相关命令

1


2

3

4

5

[root@ceph1 ~]# cephadm shell


Inferring fsid 6174cfc0-e3da-11ed-b6bb-52540079c777

Inferring config /var/lib/ceph/6174cfc0-e3da-11ed-b6bb-52540079c777/mon.ceph1/config

quay.io/ceph/ceph@sha256:616a304ce397b8a5001d78436f7899d3507bd1d3b8fbc971e4d89c1555a6ed1f

[ceph: root@ceph1 /]# exit

方法二:非交互模式,每次执行ceph命令都通过cephadm shell –前缀来执行,如

1cephadm shell — ceph -v

方法三(推荐):安装工具包组,直接可在宿主机执行ceph等相关命令

1dnf install ceph-common

安装完成后,可直接执行ceph等相关命令。

10、查看ceph集群容器所有组件运行状态

1ceph orch ps

确保STATUS状态全部是running

11、拷贝密钥到另外两台主机上

1ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph2
1ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph3

12、将另外两个主机添加至集群中

1ceph orch host add ceph2 10.10.10.162
1ceph orch host add ceph3 10.10.10.163

13、查看主机

1ceph orch host ls

HOST ADDR LABELS STATUS
ceph1 10.10.10.161 _admin
ceph2 10.10.10.162
ceph3 10.10.10.163
3 hosts in cluster

1ceph orch ps

因为是在线安装,由于网络原因可能会在这一部等好久,确保STATUS状态全部是running,再进行下一步。

A screenshot of a computer screen

Description automatically generated

1ceph orch ls

A black screen with white text

Description automatically generated

14、创建OSD

方法一(推荐):自动添加所有满足条件的OSD

1方法一(推荐):自动添加所有满足条件的OSD

方法二:手工指定的方式添加OSD

1


2

3

ceph orch daemon add osd ceph1:/dev/vdb


ceph orch daemon add osd ceph2:/dev/vdb

ceph orch daemon add osd ceph3:/dev/vdb

稍等片刻,通过命令检查,Available显示no,表示OSD创建完成

1ceph orch device ls

此时通过仪表盘可看到集群正常

A screenshot of a computer

Description automatically generated

通过命令看下集群状态正常

1ceph -s

A computer screen shot of a black screen

Description automatically generated

至此ceph version 17.2.6 quincy(stable)集群在线版部署完成