对vSAN使用较小的磁盘大小可能会导致VM故障-HQY 一个和谐有爱的空间

31

2024
05
20:32:05

对vSAN使用较小的磁盘大小可能会导致VM故障

在vSAN的诊断参考手册中，对VSAN.ClomMaxComponentSizeGB做出如下描述：

VSAN.ClomMaxComponentSizeGB默认最大设置为255GB。vSAN存储虚拟机对象时创建的组件大小默认不超过255GB。如果你使用的物理磁盘小于255GB，在创建虚拟机时你会看到如下报错：

There is no more space forvirtual disk XX. You might be able to continue this session by freeing diskspace on the relevant volume and clicking retry.

这是因为VMDK在vSAN中为精简置备，因为默认组件大小是255GB，所以如果物理磁盘小于255GB，则对象将无法增长到其完整大小255GB。例如，如果在200GB的物理磁盘上配置了255GB的VMDK（FTT = 1，SW = 1），则它的增长不能超过200GB（因为物理磁盘大小限制）。如果将超过200GB的数据写入VMDK，则可能会出现上面显示的空间不足错误。

这种情况，

VSAN.ClomMaxComponentSizeGB 是一个与 VMware vSAN 相关的配置或性能参数，它表示 vSAN 集群中组件（如磁盘或数据存储）的最大允许大小。

解释：

vSAN 是一个软件定义存储解决方案，它将多个服务器节点上的本地存储配置为集群的一部分，用于虚拟机的存储。VSAN.ClomMaxComponentSizeGB 参数限制了 vSAN 集群中单个组件的最大大小，例如，单个磁盘或数据存储的最大容量。

解决方法：

如果您尝试添加的组件超过了 VSAN.ClomMaxComponentSizeGB 设置的最大值，您需要确保组件的大小不超过此限制。

您可以通过 vSphere Web Client 或者使用 vSphere Update Manager 来调整 VSAN.ClomMaxComponentSizeGB 参数。

如果您需要更大的存储容量，可以考虑添加更多的节点或者使用更大的磁盘。

请注意，修改此参数可能会影响现有的 vSAN 配置和性能，因此在进行更改之前应仔细考虑并评估影响。

实例代码：

以下是一个示例，演示如何在 vSphere Web Client 中修改 VSAN.ClomMaxComponentSizeGB 参数：

登录到 vSphere Web Client 并连接到您的 vCenter Server。

导航到您的 vSAN集群。

右键点击集群，选择“配置”选项卡。

在“vSphere”部分下，点击“高级设置”。

在搜索框中输入 VSAN.ClomMaxComponentSizeGB。

双击该参数，输入新的值，然后点击“确定”。

请注意，具体的步骤可能会根据您的 vSphere 版本和 Web Client 的版本略有不同。

1、细节

当用于vSAN的物理磁盘小于255GB时，在vSAN数据存储上运行的虚拟机可能会遇到磁盘空间问题。
您将看到类似于以下内容的条目：

虚拟磁盘XX没有更多空间。您可以通过释放相关卷上的磁盘空间并单击“重试”来继续此会话。

注意：vSAN存储虚拟机对象时，它将创建默认大小不超过255GB的组件。但是，当您使用小于255GB的磁盘时，这些存储组件最终可能会大于实际的基础磁盘。结果，与这些存储组件关联的虚拟机会遇到无法预料的行为，并且可能会失败。

2、解决方案

为避免此问题，请为vSAN群集中的每个主机调整ClomMaxComponentSizeGB参数的默认值。

1）、在vSphere Web Client导航器中浏览到主机。

2）、单击配置选项卡。

3）、在系统下，单击高级系统设置。

4）、选择“ VSAN.ClomMaxComponentSizeGB”选项，然后单击“编辑”。

5）、更改默认值，以使其不超过您在vSAN群集中使用的最小磁盘的80％。

图1 编辑VSAN.ClomMaxComponentSizeGB

图2 设置VSAN.ClomMaxComponentSizeGB值

例如，如果vSAN磁盘组中最小的磁盘是200GB，并且您希望虚拟机对象（例如,vmdks）增长到500GB，请将VSAN.ClomMaxComponentSizeGB选项调整为160GB（这是200GB的80％）。

注意事项：
在vSAN群集中部署任何虚拟机之前，必须先调VSAN.ClomMaxComponentSizeGB的值。在配置虚拟机之后，您不应更改此值。
VSAN.ClomMaxCompnentSizeGB值可能会影响vSAN群集中部署的对象的大小。设置的对象的实际大小是根据以下公式计算的：

最大对象大小= MAX（2TB，12 * VSAN.ClomMaxComponentSizeGB）

最大对象大小是VSAN.ClomMaxComponentSizeGB的值的12倍，但不超过62TB，即vSAN数据存储支持的最大文件大小。

如果在进行此更改之前我已经将虚拟机部署到vSAN集群怎么办？

出于以下考虑，可以通过将“对象空间预留”设置为100％来应用存储策略，从而为先前部署的对象保留对象空间
：
对于具有单个VMDK的虚拟机，一次将策略应用于一个虚拟机
对于具有多个VMDK的虚拟机，一次将策略应用于一个VMDK

注意：vSAN数据存储的默认精简配置没有任何好处。但是，将来不使用对象空间保留策略的部署将进行精简配置，并且它们的对象将使用VSAN.ClomMaxComponentSizeGB选项定义的最大组件大小。

vsan主机高级优化参数配置

https://blog.51cto.com/roberthu/2049330

esxi6.0 vc6.0
vsan6.2高级参数优化

esxcfg-advcfg -s 1024 /LSOM/heapSize
esxcfg-advcfg -s 180 /VSAN/ClomMaxComponentSizeGB
esxcfg-advcfg -s 512 /LSOM/blPLOGCacheLines 默认值为 128 K，增加至 512 K
esxcfg-advcfg -s 32 /LSOM/blLLOGCacheLines 默认值为 128，增加至 32 K

* 该参数必须在主机正式部署虚拟机前完成修改

附录学习：

拥堵表明的含义

拥堵是一种反馈机制，它反映了从 vSAN DOM 客户端层传入 vSAN 磁盘组所服务的级别的入站 IO 请求速率降低。这种入站 IO 请求速率降低的行为是由 IO 延迟引起的，而底层的瓶颈会导致发生 IO 延迟。因此，一个有效的方法是，将滞后时间从底层转移到输入流量，而无需更改系统的总吞吐量。这可避免在 vSAN LSOM 层中出现不必要的排队以及尾丢队列，于是避免了在处理最终可能丢弃的 IO 请求时浪费大量的 CPU 周期。因此，无论何种类型的拥堵，临时和较小的拥堵值通常没问题，但对系统性能无益。不过，持续和较大的拥堵值可能会导致滞后时间延长和吞吐量降低的程度超出预期，因此应进行关注并解决以提高基准性能。

拥堵的报告方式

vSAN 衡量并以介于 0 至 255 之间的标量值报告拥堵。引入的 IO 延迟会随拥堵值的增加呈指数增长。

处理拥堵的可行方法
检查拥堵是否持续且居高不下 (> 50)。许多情况下，高拥堵值是系统配置错误或系统性能不佳造成的。如果一直呈现高拥堵值，请检查以下项：

IO 控制器和设备中支持的最大队列深度。支持的最大队列深度低于 100 可能会导致问题。请检查控制器是否已经过认证并列在 vSAN HCL 列表中。
固件或设备驱动程序软件的不正确版本。请参考 VMware HCL，了解 vSAN 兼容的软件。
不正确的大小设置。缓存层磁盘和内存的大小设置不正确可能会导致拥堵值较高。
如果问题不是上述任何状况，必须进行调试，确定是否可以更好地调整基准，以减少拥堵。您必须注意，是：
所有磁盘组都出现拥堵，还是
一个或两个磁盘组的拥堵值异常高于其他磁盘组。
对于情况 (1)，很有可能 vSAN 群集后端无法处理 IO 工作负载。如果可能，可以通过以下方法调整基准：
关闭某些虚拟机或
减少每个虚拟机中的未完成 IO/线程数，或者
对于写入工作负载，减小工作集的大小。
对于情况 (2)，即，一个磁盘组上的拥堵远远高于系统中的其他磁盘组，这表明磁盘组间的写入 IO 活动不平衡。如果持续发生这种情况，请尝试增加用于创建虚拟机磁盘的 vSAN 存储策略中的磁盘带数。
报告的常见拥堵类型以及解决方法
下面列出了拥堵类型和每种类型的补救措施：
SSD 拥堵：特定磁盘组的写入 IO 的活动工作集显著大于该磁盘组缓存层的大小时，通常会引发 SSD 拥堵。在混合和全闪存 vSAN 群集中，数据首先写入到写入缓存（也称为写入缓冲区）。一个称为降级转储的进程会将数据从写入缓冲区移至容量磁盘。写入缓存承受较高的写入速率，从而确保写入性能不受容量磁盘的限制。不过，如果基准以非常快的速率填充写入缓存，降级转储进程可能跟不上到达 IO 速率。在这种情况下，会引发 SSD 拥堵，以指示 vSAN DOM 客户端层将 IO 减速到 vSAN 磁盘组可以处理的速率。

补救措施：要避免 SSD 拥堵，请调整基准所用的虚拟机磁盘的大小。为达到最佳效果，我们建议虚拟机磁盘（活动工作集）的大小不超过所有磁盘组写入缓存累计大小的 40%。请注意，对于混合 vSAN 群集，写入缓存的大小为缓存层磁盘大小的 30%。在全闪存群集中，写入缓存的大小是缓存层磁盘的大小，但不应超过 600 GB。

日志拥堵：vSAN LSOM 日志（存储未降级转储的 IO 操作的元数据）消耗写入缓存中的大量空间时，通常会引发日志拥堵。

通常情况下，小工作集上的大量小规模写入会导致出现大量 vSAN LSOM 日志条目，于是会导致出现这种类型的拥堵。此外，如果基准不发出 4K 对齐 IO，则 vSAN 堆栈上的 IO 数将增加，从而引发 4K 对齐。IO 数增加可能会导致日志拥堵。

补救措施：检查基准是否与 4K 边界上的 IO 请求一致。如果不一致，请检查基准是否使用一个非常小的工作集（访问虚拟机磁盘的总大小低于缓存层大小的 10% 时，则认为工作集较小。请参见上文有关如何计算缓存层大小的内容）。如果是，请将工作集增加到缓存层大小的 40%。如果以上两个条件都不成立，将需要通过以下两种方法减少写入流量：减少基准发出的未完成 IO 数或减少基准创建的虚拟机数量。