角色介绍
部署要求
至少三个群集节点（仲裁）
VM和容器的共享存储
硬件冗余
可靠的服务器组件
可选的硬件设备
注意：高可用错误检测到故障转移，大约消耗2分钟，可用性不超过99.999%
一、Proxmox部署
1.Proxmox安装
1.1.主机
10.10.1.211 node 10.10.1.212 node2 10.10.1.213 node3
1.2.安装
通过虚拟机虚拟出三台服务器，分别安装3台Proxmox系统；
注意：
虚拟机可选选择“VMware Workstation”或者“ESXi”等等；
虚拟机系统指定"Debian 10.x 64 位"，土豪可以是三台物理机直接通过ISO写U盘安装；
2.系统更新
2.1.删除企业源
rm -rf /etc/apt/sources.list.d/pve-enterprise.list
2.2.下载秘钥
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
2.3.添加社区源
echo "deb http://download.proxmox.wiki/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list
2.4.系统更新
apt update && apt dist-upgrade
3.集群部署
3.1.创建集群
通过SSH登录服务器创建集群
pvecm create cluster-01
或者
通过登录Web管理页面，点击集群-创建集群-输入集群名称-点击创建；
注意：想在那个服务器上创建集群都可以，自行定义规划；
3.2.节点加入
通过SSH登录需要被加入的服务器
pvecm add 10.10.1.211 #IP为创建集群服务器IP；
或者
通过登录Web管理页面，点击集群-加入集群-粘贴信息(集群创建Web页面拷贝信息)-加入
3.3.查看集群
3.3.1.命令查看
pvecm status #任意节点查看
3.3.2.Web页面
3.3.3.查看集群日志
more /var/log/daemon.log
二、基础环境配置
1.配置hosts
cat >> /etc/hosts << EOF10.10.1.211 n1.pve.cn node pvelocalhost10.10.1.212 n2.pve.cn node210.10.1.213 n3.pve.cn node3EOF
2.时间同步
apt -y install ntpsec
3.SSH服务(默认系统自带)
apt install openssh-server
4.用户管理(自选)
提示：官网推荐创建单独用户，基于安全考虑；
4.1.创建用户
useradd -d /home/cscu -m cscu #Ceph stores cluster users
4.2.配置密码
passwd cscu
4.3.添加sudo
echo "cscu ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cscu chmod 0440 /etc/sudoers.d/cscu
5.配置免密
5.1.生成密钥文件
ssh-keygen -t rsa -b 4096
5.2.颁布密钥文件
ssh-copy-id cscu@node ssh-copy-id cscu@node2 ssh-copy-id cscu@node3
6.修改配置
提示：避免每次执行Ceph-deploy命令时指定"--username USERNAME"
cat >> /root/.ssh/config << EOFHost node1 Hostname node User root Host node2 Hostname node2 User root Host node3 Hostname node3 User rootEOF
7.防火墙
提示端口范围：OSD:6800-7300、monitor:6789
7.1.Firewall
firewall-cmd --zone=public --add-service=ceph-mon --permanent firewall-cmd --zone=public --add-service=ceph --permanent firewall-cmd --reload
7.2.Iptables
iptables -A INPUT -i {iface} -p tcp -s {ip-address}/{netmask} --dport 6789 -j ACCEPT
/sbin/service iptables save8.配置Ceph源
8.1.导入key
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
8.2.删除源配置文件
rm -rf /etc/apt/sources.list.d/ceph.list
8.3.配置源(163源)
cat >> /etc/apt/sources.list.d/ceph.list << EOFdeb http://mirrors.163.com/ceph/debian-luminous stretch maindeb http://mirrors.163.com/debian stretch main contribdeb http://mirrors.163.com/debian stretch-updates main contribdeb http://security.debian.org stretch/updates main contribEOF
8.4.更新
apt-get update
三、Ceph集群部署
1.安装ceph-deploy
ceph-deploy是ceph官方提供的部署工具，通过SSH远程登录各节点执行部署任务；
1.1.安装
apt -y install ceph-deploy
1.2.创建目录
mkdir -p /data/ceph/deploy cd /data/ceph/deploy
注意：主要用于存储密钥及日志文件等，执行命令需要密钥文件，执行所有命令都需要在目录中；
2.安装ceph
ceph-deploy install --no-adjust-repos node node2 node3
解释：
--no-adjust-repos：忽略设置ceph源；
3.创建ceph集群
ceph-deploy new --cluster-network 10.10.1.0/24 --public-network 10.10.1.0/24 node node2 node3
解释：
--cluster-network：配置集群内部网络，集群管理；
--public-network：配置集群公共网络，数据网络；
注意：
执行当前目录生成“ceph.conf”文件，确认参数值“fsid，mon_initial_members，mon_host”
4.修改ceph.conf文件
cat >> ceph.conf << EOF osd_journal_size = 5120 osd_pool_default_size = 3 osd_pool_default_min_size=1 EOF
解释：
osd_journal_size：定义OSD日志大小
osd_pool_default_size：定义池中对象的副本数，默认为3；
osd_pool_default_min_size：定义池中对象最小写入副本数；
更多参数查看：
OSD配置文档
日志配置文档
Pool PG配置文档
监视器
注意：
journal_size：默认5G,1TB盘设置5G，4TB盘设置20G；
5.监视器管理
5.1.添加监视
ceph-deploy mon create node node2 node3
注意：
在不使用命令初始定义主机上添加监视器时，需要在“ceph-deploy new”命令中添加“ public network”
5.2.删除监视
ceph-deploy mon destroy node node2 node3
6.密钥管理(All)
6.1.收集密钥
ceph-deploy gatherkeys node node2 node3
6.2.删除密钥
ceph-deploy forgetkeys
6.3.允许主机以管理权限执行Ceph命令
ceph-deploy admin node node2 node3
7.MGR管理(All)
ceph-deploy mgr create node ceph-deploy mgr create node2 ceph-deploy mgr create node3
注意：ceph -s 或 ceph -w 的data统计部分显示是0；
8.OSD管理
8.1.列出磁盘
ceph-deploy disk list node node2 node3
8.2.ZAP磁盘
ceph-deploy disk zap {osd-server-name} {disk-name}
ceph-deploy disk zap osdserver1 /dev/sdb /dev/sdc注意：将删除所有数据；
8.3.创建OSD
ceph-deploy osd create --data /dev/sdc node ceph-deploy osd create --data /dev/sdb node2 ceph-deploy osd create --data /dev/sdb node3
注意：
OSD应该为独立磁盘分区；
指定实际的磁盘；
9.MDS管理
9.1.创建
ceph-deploy mds creat
9.2.创建Ceph存储池
ceph osd pool create ceph-external 64
9.3.创建Proxmox集群
#node执行 pvecm create cluster-01 #node2、node3执行 pvecm add 10.10.1.211
9.4.查看集群状态
pvecm status
10.配置Ceph存储
任意访问Ceph集群，创建存储池；
ID：自定义
资源池：命令“ceph osd pool create”创建指定；
Monitor：ceph.conf文件中定义的mon_host值；
11.创建认证文件
mkdir /etc/pve/priv/ceph cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph-01.keyring
注意：ceph-01.keyring中的ceph-01表示存储的ID号；
四、创建虚拟主机
1.上传镜像
注意：可以上传任意节点的local，但是虚拟机需要安装在那个节点就需要上传在该节点local；
2.自定义虚拟机
解释：
节点：指定虚拟机创建在那个节点；
名称：指定虚拟机名称；
解释：
存储：指定之前创建存储池名称；
注意：Sockets最好大于2;
3.系统安装
4.HA配置
手动关闭node服务器,制造故障现象；
注意：能够看到虚拟机已经成功从node迁移到node2运行；
5.迁移管理
5.1.主机迁移
点击虚拟主机(需要迁移)→点击迁移→选择迁移目标节点→确定迁移；
注意：
迁移主机硬件资源在目标节点应该被满足；例如目标主机实际内存8G,迁移的虚拟主机需要12G;
迁移的服务器不能配置HA；
迁移服务器不能包含硬件“CD/DVD驱动器”；
作者：Kry1702
链接：https://www.jianshu.com/p/20031c8d2c48
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接：https://hqyman.cn/post/5024.html 非本站原创文章欢迎转载，原创文章需保留本站地址！
微信支付宝扫一扫，打赏作者吧～休息一下~~
官码2024000195号
萌ICP备20248119号
