02
2024
02
01:08:58

Proxmox VE7.3+Ceph超融合私有云建设案例

目录

本文最终实现目标

材料准备

路由器设置

机房静态公网ip设置WAN口

宽带动态公网ip设置WAN口和DDNS

LAN口设置

wifi设置

交换机配置

服务器配置

iBMC密码和ip设置

升级固件

Bios恢复到出厂设置

PVE安装和网卡聚合mode4配置

下载PVE iso文件

iBMC设置光盘启动

登录iBMC的KVM

服务器硬盘设置

连接虚拟CD,挂载pve系统镜像

Debug模式开始安装

网口聚合mode4设置

PVE换源

创建PVE集群

配置Ceph

创建Ceph Mgr管理器和Mon监控器

创建OSD,保存数据用的

创建Ceph FS用于保存文件和系统镜像,相当于Openstack的Glance

创建Ceph RBD用于保存VM硬盘卷,相当于Openstack的Cinder

删除local-lvm

PVE超融合顺利完成,第一阶段结束

PVE集群中物理服务器如何安全的关机或重启

Openstack安装

本文最终实现目标

Proxmox VE = 虚拟化+分布式存储,能够通过Ceph FS和Ceph RBD实现虚拟机5秒迁移。虚拟机磁盘一律通过RBD网络提供,物理服务器本地不保存任何磁盘卷。这样的好处是磁盘多备份,并且一旦虚拟机卡死,能在5秒内在另一台物理机甚至另一个地域启动相同虚拟机。而通过网络提供磁盘卷,则需要服务器网口是万兆的,内网网速要够快。

由于PVE无法创建子网,即类似阿里云VPC的功能。并且PVE实现Cloud-init比较困难(需要命令导入qcow文件),所以需要在PVE超融合的基础上运行Openstack。PVE为Openstack提供了多备份和稳定的运行环境,Openstack为PVE提供了浮动ip、高级网络功能、cloud-init、实例规格、中间件等一堆额外功能。比如阿里云的RDS数据库和SLB负载均衡等中间件,就可以通过Openstack的Trove组件和Octavia组件实现。难道你自己会手动在PVE里一台一台创建VM然后手动配置负载均衡吗。超融合很好,但远远不够方便。

为什么不直接把Openstack部署在物理机上?因为交付速度太慢了。如果公司做活动,临时采购了1千台服务器,部署在物理机上的Openstack如何快速扩容?另外直接部署在物理机上的Openstack,底层的linux容灾能力、稳定性、弹性都不及PVE虚拟机,毕竟RBD至少是双备份的。

最后我想说,直接使用PVE创建的VM,和使用VM中的浮动ip绑定的Openstack server性能几乎没有差别。稍微折腾一下下,你能获得更多。

华为云是如何快速上线的?他们是基于Openstack+CentOS进一步定制出一种新的iso镜像,形成Fusion Cloud系统镜像,Fusion Cloud云系统兼顾了超融合和云原生特性,将装Openstack变成了装系统,新购服务器设置好4个网络平面就能投入生产,从而实现新购服务器快速上线。可惜Openstack没有官方的iso系统镜像。

私有云的思路是,先将计算、网络、存储融合成一个资源池,再在资源池上搭建云原生。所以目前做公有云和私有云的架构是不一样的。我们希望Openstack社区能努努力,做到公私同源!

66d0973fddd206cb1519a5d4aea97f56_6f988b4763d24157a5a804671b9b6421.png

图中的Kube Operator有很多替代品,如rancher、sealos、kubesphere、kubespray、kubeclipper等


材料准备

企业级路由器一台,本文使用的是H3C G3200,带机量150台。各位读者可以使用华为的。

三层交换机一台,带Vlanif功能就行。本文使用的是华为S5735S-L48T4S-A1,带图形化管理界面,带console口,无eth口。本文的交换机买的不太合理,网口是千兆的,应该买万兆交换机的,不过也能用。

服务器n台(n>=3),本文使用华为RH1288V3服务器4台,1U的刀片机。每台组件为:CPU E5-2680v3两颗,2.5寸SSD 300GB 8块,内存16GB 2166Mhz 12条,板载显卡一张,600w电源两个,iBMC芯片+UEFI芯片,网卡为Intel SM233 10GE*2双口万兆 ,raid卡LSI SAS2208。

笔记本一台,用于配置集群,需要笔记本带网口并能接受wifi。

IDC六类网线准备30根,以防不够。

VGA显示器一台。

公网ip两个。每个上行带宽30M,下行500M。

获取公网ip的方式有两种,第一种是把设备托管给专门的IDC机房,从机房里买两个公网ip。第二种是中国电信买大宽带2个,每个上行30M,下载500M,3000元一年。购买宽带后如果没有动态公网ip,打电话找运营商要,要是运营商不给,凉凉。如果自己有公司,可以向中国电信购买BGP专线公网ip,但是很贵,本文是低成本私有云,不考虑。

路由器设置

机房静态公网ip设置WAN口

如果公网ip为机房购买的静态ip,则配置静态WAN口即可,配置简单。


设置双WAN口模式,其他都设置成LAN口。


配置静态WAN口IP。注意WAN口1和2都要设置。



                            版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

                        

原文链接:https://blog.csdn.net/qq_43626147/article/details/128236628




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:https://hqyman.cn/post/5053.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: