03

2024
06
23:22:50

【VMware vSAN】使用命令行从vSAN集群中移除ESXi主机并加入到新的vSAN集群。

环境

站点名称

vCenter版本

vSAN集群

集群主机

主机版本

磁盘组

vcsa67.lab.com

vCenter 6.7 U3

cluster

esxi-b1.lab.com

esxi-b2.lab.com

esxi-b3.lab.com

esxi-b4.lab.com

ESXi 6.7 U3

每台主机有两个磁盘组

每个磁盘组一个闪存盘

每个磁盘组两个容量盘

vcsa.lab.com

vCenter 7.0 U3

vsan01

esxi-a1.lab.com

esxi-a2.lab.com

esxi-a3.lab.com

esxi-a4.lab.com

ESXi 7.0 U3

每台主机有两个磁盘组

每个磁盘组一个闪存盘

每个磁盘组两个容量盘

内容

本文内容涉及到以下几个部分：

将vcsa67站点上ESXi主机从vSAN集群cluster中撤出，并从vCenter中移除
在vcsa站点上新建集群vsan02，并将esxi-b1到esxi-b4主机加入该集群
将esxi-b1到esxi-b4主机的ESXi版本升级到vcsa站点上的主机版本（ESXi 7.0 U3）
在vsan02集群中启用vsan，并申明esxi-b1到esxi-b4主机的vSAN磁盘

过程

一、将vcsa67站点上ESXi主机从vSAN集群cluster中撤出，并从vCenter中移除#

注意：集群中不得存在任何虚拟机、文件，已全部迁走。

1.将主机置于维护模式。SSH登录到主机esxi-b1，不迁移数据。

esxcli system maintenanceMode set -e true -m noAction
esxcli system maintenanceMode get

2.删除主机上的vSAN磁盘组。有两种方式，一是根据磁盘组UUID，二是磁盘组名字。

esxcli vsan storage list | grep "VSAN Disk Group UUID"esxcli vsan storage list | grep "VSAN Disk Group Name"esxcli vsan storage remove -u "VSAN Disk Group UUID"esxcli vsan storage remove -s "VSAN Disk Group Name"esxcli vsan storage list

注：其实 "VSAN Disk Group UUID"和"VSAN Disk Group Name"就是磁盘组中闪存盘的UUID和名字，删除闪存盘就删除了整个磁盘组。

3.将主机退出vSAN群集。

esxcli vsan cluster leave
esxcli vsan cluster get

4.将主机从vCenter中移除。由于该主机的vSAN网络vmkernel适配器创建在分布式交换机vds上，所以先将vmkernel适配器从主机中删除，再将主机从vds中移除，最后再从vCenter中移除。

第一步：删除vmkernel适配器。通过powershell工具连接到vcsa67的vCenter。

Connect-VIServer vcsa67.lab.com -Username administrator@vsphere.local -Password xxxxxxxx //环境中SSO用户名和密码

使用命令删除用于vsan流量的vmkernel适配器

Get-VMHostNetworkAdapter -VMHost esxi-b1.lab.com -PortGroup vsan | Remove-VMHostNetworkAdapter //环境中分布式端口组名字为vsan

第二步：从分布式交换机vds中移除主机。

Remove-VDSwitchVMHost -VDSwitch vds -VMHost esxi-b1.lab.com //环境中分布式交换机名字为vds

第三步：从vCenter中移除主机。

Get-VMHost -Name esxi-b1.lab.com | Remove-VMHost

此时esxi-b1主机已从vSAN集群及vCenter中移除。

按上述方式完成esxi-b2主机到esxi-b4主机的删除过程。本小节完。

二、在vcsa站点上新建集群vsan02，并将esxi-b1到esxi-b4主机加入该集群#

1.远程SSH连接到vcsa的vCenter，并登录RVC命令行控制台。

rvc localhost  //运行后输入vCenter的sso用户名和密码

2.使用RVC命令cluster.create创建集群vsan02。

cluster.create /localhost/datacenter/computers/vsan02

3.使用RVC命令cluster.add_host将esxi-b1到esxi-b4主机添加到集群vsan02中，主机默认进入维护模式。

cluster.add_host /localhost/datacenter/computers/vsan02/ esxi-b1.lab.com -u root -p xxxxxxxx //ESXi用户名和密码
cluster.add_host /localhost/datacenter/computers/vsan02/ esxi-b2.lab.com -u root -p xxxxxxxx
cluster.add_host /localhost/datacenter/computers/vsan02/ esxi-b3.lab.com -u root -p xxxxxxxx
cluster.add_host /localhost/datacenter/computers/vsan02/ esxi-b4.lab.com -u root -p xxxxxxxx

4.查看所有主机都已经加入集群vsan02成功。本小节完。

ls /localhost/datacenter/computers/vsan02/

三、将esxi-b1到esxi-b4主机的ESXi版本升级到vcsa站点上的主机版本（ESXi 7.0 U3）#

ESXi主机升级的方式有多种，比如只有几台或少数主机的情况下，使用esxcli software命令一台一台的升级，如果主机较多的话推荐使用VUM基于基准的方式进行升级，当然仅在6.x及7.x版本中可用，在8.x以后的版本中仅支持vLCM基于单个映像的方式进行主机升级。本环境只有四台主机，所以就采用esxcli software命令进行升级。

VMware ESXi产品升级路径：

1.将升级包上传至esxi-b1主机的本地存储。

2.查看补丁的映像配置文件。

esxcli software sources profile list --depot=/vmfs/volumes/65a744d5-442a4976-59cb-00505687d430/VMware-ESXi-7.0U3o-22348816-depot.zip

3.安装更新ESXi7 U3o。由于环境中的硬件CPU不受支持，所以在命令中加了-f强制更新，--no-hardware-warning忽略硬件警告。（生产环境No！！！）

esxcli software profile update --profile=ESXi-7.0U3o-22348816-standard --depot=/vmfs/volumes/65a744d5-442a4976-59cb-00505687d430/VMware-ESXi-7.0U3o-22348816-depot.zip -f --no-hardware-warning

4.重启主机后查看版本，已更新到VMware ESXi 7.0 U3。

5.按上述方式完成esxi-b2~esxi-b4主机的更新操作。本小节完。

注：如果后续启动集群HA失败，提示“无法升级 vCenter Agent。未知安装程序错误”或“Cannot upgrade vCenter agent. Unknown installer error”，则是因为主机升级的时候，由于硬件不支持并强制进行安装后，主机上还遗留旧版本的VIB包导致的。使用esxcli software vib list查看旧版本遗留的VIB，使用esxcli software vib remove --force --vibname=VIB 强制删除旧版本遗留的VIB。如果是硬件满足兼容性要求，正常升级后应该不会遇到这个问题。

四、在vsan02集群中启用vsan，并申明esxi-b1到esxi-b4主机的vSAN磁盘#

1.SSH连接到vCenter，进入RVC交互式管理控制台。

rvc localhost

2.使用vds.create_vds命令创建一个新的分布式交换机vds2。

vds.create_vds localhost/datacenter/networks/vds2

3.使用vds.add_hosts命令将主机加入到vds2分布式交换机，并指定uplink端口为vmnic1。

vds.add_hosts --vmnic=vmnic1 /localhost/datacenter/networks/vds2/ /localhost/datacenter/computers/vsan02/hosts/esxi-b1.lab.com/
vds.add_hosts --vmnic=vmnic1 /localhost/datacenter/networks/vds2/ /localhost/datacenter/computers/vsan02/hosts/esxi-b2.lab.com/
vds.add_hosts --vmnic=vmnic1 /localhost/datacenter/networks/vds2/ /localhost/datacenter/computers/vsan02/hosts/esxi-b3.lab.com/
vds.add_hosts --vmnic=vmnic1 /localhost/datacenter/networks/vds2/ /localhost/datacenter/computers/vsan02/hosts/esxi-b4.lab.com/

4.使用vds.create_portgroup命令创建分布式端口组vsan-pg。

vds.create_portgroup /localhost/datacenter/networks/vds2/ vsan-pg

5.使用vds.create_vmknic命令在分布式端口组vsan-pg中给每台主机创建一个vmkernel端口vmk1，用于主机的vSAN流量端口。

vds.create_vmknic /localhost/datacenter/networks/vds2/portgroups/vsan-pg/ /localhost/datacenter/computers/vsan02/hosts/esxi-b1.lab.com/
vds.create_vmknic /localhost/datacenter/networks/vds2/portgroups/vsan-pg/ /localhost/datacenter/computers/vsan02/hosts/esxi-b2.lab.com/
vds.create_vmknic /localhost/datacenter/networks/vds2/portgroups/vsan-pg/ /localhost/datacenter/computers/vsan02/hosts/esxi-b3.lab.com/
vds.create_vmknic /localhost/datacenter/networks/vds2/portgroups/vsan-pg/ /localhost/datacenter/computers/vsan02/hosts/esxi-b4.lab.com/

6.为了方面，给每台主机对象分别打一个标记。

mark esxib1 /localhost/datacenter/computers/vsan02/hosts/esxi-b1.lab.com/
mark esxib2 /localhost/datacenter/computers/vsan02/hosts/esxi-b2.lab.com/
mark esxib3 /localhost/datacenter/computers/vsan02/hosts/esxi-b3.lab.com/
mark esxib4 /localhost/datacenter/computers/vsan02/hosts/esxi-b4.lab.com/

7.使用rvc esxcli命令查看主机esxib1的接口地址信息。

esxcli ~esxib1 network ip interface ipv4 get

8.使用rvc esxcli命令给所有主机的vmkernel网卡vmk1配置一个静态地址，并查看是否已配置成功。

esxcli ~esxib1 network ip interface ipv4 set -i vmk1 -t static -p 11.1.1.1 -n 255.255.255.0
esxcli ~esxib2 network ip interface ipv4 set -i vmk1 -t static -p 11.1.1.2 -n 255.255.255.0
esxcli ~esxib3 network ip interface ipv4 set -i vmk1 -t static -p 11.1.1.3 -n 255.255.255.0
esxcli ~esxib4 network ip interface ipv4 set -i vmk1 -t static -p 11.1.1.4 -n 255.255.255.0
esxcli ~esxib1 network ip interface ipv4 get
esxcli ~esxib2 network ip interface ipv4 get
esxcli ~esxib3 network ip interface ipv4 get
esxcli ~esxib4 network ip interface ipv4 get

9.使用rvc esxcli命令将所有主机的vmkernel端口vmk1配置为vSAN流量。

esxcli ~esxib1 vsan network ip add -i vmk1
esxcli ~esxib2 vsan network ip add -i vmk1
esxcli ~esxib3 vsan network ip add -i vmk1
esxcli ~esxib4 vsan network ip add -i vmk1

10.使用rvc esxcli命令查看所有主机的vSAN网络。

esxcli ~esxib1 vsan network list
esxcli ~esxib2 vsan network list
esxcli ~esxib3 vsan network list
esxcli ~esxib4 vsan network list

11.使用vsan.enable_vsan_on_cluster命令开启集群vsan02的vSAN功能，并关闭磁盘自动申明。

vsan.enable_vsan_on_cluster /localhost/datacenter/computers/vsan02/ --disable-storage-auto-claim

12.SSH登录到主机esxi-b1上，使用vdq命令查看本机的所有磁盘。准备将T1~T6磁盘用于vSAN磁盘组，T1、T3、T4为一个磁盘组，T2、T5、T6为一个磁盘组，共两个磁盘组。

vdq -q | grep "Name\|IsSSD\|Size"

13.由于主机上全是SSD磁盘，所以在创建全闪磁盘组之前，需要先将用于容量盘的磁盘标记为容量闪存盘。

esxcli vsan storage tag add -d mpx.vmhba0:C0:T3:L0 -t capacityFlash
esxcli vsan storage tag add -d mpx.vmhba0:C0:T4:L0 -t capacityFlash
esxcli vsan storage tag add -d mpx.vmhba0:C0:T5:L0 -t capacityFlash
esxcli vsan storage tag add -d mpx.vmhba0:C0:T6:L0 -t capacityFlash

14.在主机上创建两个磁盘组，T1和T2作为闪存盘，T3~T6作为容量闪存盘。

esxcli vsan storage add -s mpx.vmhba0:C0:T1:L0 -d mpx.vmhba0:C0:T3:L0 -d mpx.vmhba0:C0:T4:L0
esxcli vsan storage add -s mpx.vmhba0:C0:T2:L0 -d mpx.vmhba0:C0:T5:L0 -d mpx.vmhba0:C0:T6:L0

15.主机上查看刚刚已创建好的所有vSAN存储设备。

esxcli vsan storage list | grep -A 5 "Device"

使用上述方式，完成esxi-b2~esxi-b4主机vSAN磁盘组的创建。

16.主机上查看vSAN集群状态。

esxcli vsan cluster list

17.主机上查看vSAN集群中其他主机的单播代理状态。

esxcli vsan cluster unicastagent list

18.主机上查看vSAN集群健康状态。

esxcli vsan health cluster

19.在vCenter上使用RVC命令host.exit_maintenance_mode将所有主机退出维护模式。

host.exit_maintenance_mode ~esxib1
host.exit_maintenance_mode ~esxib2
host.exit_maintenance_mode ~esxib3
host.exit_maintenance_mode ~esxib4

20.在vCenter上使用RVC命令vsan.cluster_info查看vSAN集群vsan02的状态。本小节完。

> vsan.cluster_info localhost/datacenter/computers/vsan02
2024-01-26 11:54:11 +0800: Fetching host info from esxi-b3.lab.com (may take a moment) ...
2024-01-26 11:54:11 +0800: Fetching host info from esxi-b1.lab.com (may take a moment) ...
2024-01-26 11:54:11 +0800: Fetching host info from esxi-b2.lab.com (may take a moment) ...
2024-01-26 11:54:11 +0800: Fetching host info from esxi-b4.lab.com (may take a moment) ...
Host: esxi-b1.lab.com
  Product: VMware ESXi 7.0.3 build-22348816
  vSAN enabled: yes
  Cluster info:
    Cluster role: agent
    Cluster UUID: 52783a01-cbdd-3691-ae7d-e1460dcb601e
    Node UUID: 65a743cf-35f2-1ea3-5b85-00505687d430
    Member UUIDs: ["65a743f9-1aad-f462-d1a8-005056875b25", "65a74405-7719-a1c0-5677-00505687cc0d", "65a743cf-35f2-1ea3-5b85-00505687d430", "65a74408-270e-ee81-2892-00505687df8b"] (4)
  Node evacuated: no
  Storage info:
    Auto claim: no
    Disk Mappings:
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T2:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T6:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T5:L0) - 20 GB, v15
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T1:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T4:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T3:L0) - 20 GB, v15
  FaultDomainInfo:
    Not configured
  NetworkInfo:
    Adapter: vmk1 (11.1.1.1)
  Data efficiency enabled: no
  Encryption enabled: no

Host: esxi-b2.lab.com
  Product: VMware ESXi 7.0.3 build-22348816
  vSAN enabled: yes
  Cluster info:
    Cluster role: master
    Cluster UUID: 52783a01-cbdd-3691-ae7d-e1460dcb601e
    Node UUID: 65a743f9-1aad-f462-d1a8-005056875b25
    Member UUIDs: ["65a743f9-1aad-f462-d1a8-005056875b25", "65a74405-7719-a1c0-5677-00505687cc0d", "65a743cf-35f2-1ea3-5b85-00505687d430", "65a74408-270e-ee81-2892-00505687df8b"] (4)
  Node evacuated: no
  Storage info:
    Auto claim: no
    Disk Mappings:
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T2:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T6:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T5:L0) - 20 GB, v15
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T1:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T4:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T3:L0) - 20 GB, v15
  FaultDomainInfo:
    Not configured
  NetworkInfo:
    Adapter: vmk1 (11.1.1.2)
  Data efficiency enabled: no
  Encryption enabled: no

Host: esxi-b3.lab.com
  Product: VMware ESXi 7.0.3 build-22348816
  vSAN enabled: yes
  Cluster info:
    Cluster role: agent
    Cluster UUID: 52783a01-cbdd-3691-ae7d-e1460dcb601e
    Node UUID: 65a74408-270e-ee81-2892-00505687df8b
    Member UUIDs: ["65a743f9-1aad-f462-d1a8-005056875b25", "65a74405-7719-a1c0-5677-00505687cc0d", "65a743cf-35f2-1ea3-5b85-00505687d430", "65a74408-270e-ee81-2892-00505687df8b"] (4)
  Node evacuated: no
  Storage info:
    Auto claim: no
    Disk Mappings:
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T2:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T6:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T5:L0) - 20 GB, v15
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T1:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T4:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T3:L0) - 20 GB, v15
  FaultDomainInfo:
    Not configured
  NetworkInfo:
    Adapter: vmk1 (11.1.1.3)
  Data efficiency enabled: no
  Encryption enabled: no

Host: esxi-b4.lab.com
  Product: VMware ESXi 7.0.3 build-22348816
  vSAN enabled: yes
  Cluster info:
    Cluster role: backup
    Cluster UUID: 52783a01-cbdd-3691-ae7d-e1460dcb601e
    Node UUID: 65a74405-7719-a1c0-5677-00505687cc0d
    Member UUIDs: ["65a743f9-1aad-f462-d1a8-005056875b25", "65a74405-7719-a1c0-5677-00505687cc0d", "65a743cf-35f2-1ea3-5b85-00505687d430", "65a74408-270e-ee81-2892-00505687df8b"] (4)
  Node evacuated: no
  Storage info:
    Auto claim: no
    Disk Mappings:
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T2:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T6:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T5:L0) - 20 GB, v15
      Cache Tier: Local VMware Disk (mpx.vmhba0:C0:T1:L0) - 10 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T4:L0) - 20 GB, v15
      Capacity Tier: Local VMware Disk (mpx.vmhba0:C0:T3:L0) - 20 GB, v15
  FaultDomainInfo:
    Not configured
  NetworkInfo:
    Adapter: vmk1 (11.1.1.4)
  Data efficiency enabled: no
  Encryption enabled: no


No Fault Domains configured in this cluster
>

后续

主机升级到VMware ESXi 7.0以后，License Key将不再可用，在主机上使用vim-cmd命令配置主机的序列号。

vim-cmd vimsvc/license --set xxxxx-xxxxx-xxxxx-xxxxx-xxxxx(License Key)

新的vSAN集群也需要vSAN License Key，在vCenter上使用RVC命令vsan.apply_license_to_cluster配置vSAN集群的序列号。

vsan.apply_license_to_cluster /localhost/datacenter/computers/vsan02/ -k xxxxx-xxxxx-xxxxx-xxxxx-xxxxx(License Key)

开启vSAN集群vsan02的DRS和HA功能。配置DRS模式为半自动，配置HA时需要注意主机上网卡已启用vMotion。

cluster.configure_drs /localhost/datacenter/computers/vsan02/ -m partiallyAutomated
cluster.configure_ha /localhost/datacenter/computers/vsan02/BASH复制全屏