04
2022
11
14:49:06

没事瞎折腾之 ESXI和PVE

硬件环境

CPU:Intel® Core™ i9-10850K

主板:Z490 AORUS ELITE AC

板载网卡:r8125b 2.5G

GPU:RX 550变形金刚4G

最初设想

all in one,在一个物理机上安装多系统,实现娱乐、工作、学习集于一身:

  • windows 10,视频,游戏,需要直通显卡、键鼠

  • ubuntu,工作、学习,安装docker

  • macOS,尝鲜

  • nas:存储,照片、共享目录

  • 其它

开始行动

1、第一次PVE

因为之前用过esxi,所以这一次想尝试一下pve,所以准备U盘、rufus、pve 6.4 iso镜像;插入u盘,启动。。。

结果。。。no network interface found,可能是网卡太高级了?还没支持?在网上找了一圈,最终还是没有找到一个好的方法,无奈暂时放弃

2、第一次ESXI

PVE不行,那就上ESXI,先上esxi 7.0。重新制作usb启动盘,下载esxi 7.0 iso,插入u盘,启动。。。

结果。。。还是找不到网卡,崩溃中。。。

换成esxi 6.7,还是找不到网卡,在网上找到网卡打包的方法,下载r8125b vio文件,重新打包esxi 6.7

VFrontDe/ESXi-Customizer-PS

realganfan/r8125-esxi

ESXI6.7-7.0最新版本如何封装网卡驱动补丁 - Vedio Talk - VLOG、科技、生活、乐分享

这一次终于成功了,可以识别网卡,并安装完成,终于走出了第一步。。。

接下来开始安装win10、macOS、ubuntu系统

显卡直通,虚拟机中可以看到显示,但是接上显示器后却是黑屏,没有显示。。。再次崩溃。。。

3、第二次PVE

第一次安装PVE,曾经有人建议买一个usb接口的网卡试一下;实在没办法只能买一个试一下了,京东下单,第二天到货。。。

再次安装PVE,果然成功安装上了。

再安装系统,显卡直通。。。

2401DEM:Proxmox VE 6.2安装macOS 10.15及GPU穿通方案

pve虚拟机显卡直通教程 - TimZhong's Blog

配置完成后,开启虚拟机,结果死机。。。pve和我都崩溃了。。。

下定决定认真研究PCIE直通

PCI passthrough via OVMF (简体中文)

7.2更新5.4.44-1,解决j3455直通iommu分组问题,PVE内核编译... - LEDE/OpenWRT - KoolShare - 源于玩家 服务玩家

最终发现了根本原因,就是iommu分组问题,显卡并没有独占一个分组:

# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/7/devices/0000:00:1b.4
/sys/kernel/iommu_groups/7/devices/0000:02:00.0
/sys/kernel/iommu_groups/7/devices/0000:01:00.0
/sys/kernel/iommu_groups/7/devices/0000:00:1b.0
/sys/kernel/iommu_groups/7/devices/0000:02:00.1
/sys/kernel/iommu_groups/5/devices/0000:00:16.0
/sys/kernel/iommu_groups/3/devices/0000:00:14.2
/sys/kernel/iommu_groups/3/devices/0000:00:14.0
/sys/kernel/iommu_groups/1/devices/0000:00:02.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.4
/sys/kernel/iommu_groups/8/devices/0000:04:00.0
/sys/kernel/iommu_groups/6/devices/0000:00:17.0
/sys/kernel/iommu_groups/4/devices/0000:00:14.3
/sys/kernel/iommu_groups/2/devices/0000:00:12.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.5
/sys/kernel/iommu_groups/10/devices/0000:00:1f.3
/sys/kernel/iommu_groups/10/devices/0000:00:1f.4
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/9/devices/0000:00:1d.4
/sys/kernel/iommu_groups/9/devices/0000:00:1d.0

根据上面的方法,修改patch,重新编译pve kernel,编译内核需要注意以下点:

  • 编译依赖的都是新版本的库,最终在ubuntu 20.04上编译成功

  • pve切换到pve-kernel-5.4分支,不要使用master分支

  • 还有一个东西需要编译安装,记不清了。。。

编译升级成功,再次查看iommu分组,结果还是不行。。。

最开始的计划是要插两个独立的显卡,分别直通给不同的系统,所在这个显卡我插在了PCI-E的第2个插槽,但是经过以上的折腾,发现已经不是软件可以解决的了,只能尝试把显卡插到PCI-E第1个插槽上。

重新插好显卡,再次查看iommu分组,果然是独占分组、隔离的了

做好直通配置后,启动虚拟机,屏幕成功点亮,经过10多天的时候,终于看到了希望。

但是没高兴多长时间,我安装的是win10系统,在执行关机或重启操作时,pve的虚拟机图标上就会显示黄色感叹号,再开机也起不来了,只能重启pve

在网上找解决方法,有的说不使能qemu-guest-agent,有的说要安装qemu-guest-agent,两种方法对我都没起作用,最后实在受不了,选择放弃。。。

4、第二次ESXI

经过以上对PCIE直通的了解,我想到之前ESXI没有直通成功,原因可能也是iommu分组的原因,所以打算换回esxi 6.7再试一次。

esxi 6.7 + win10安装完成

书童级如何完美直通独立显卡,独立输出画面,NVIDIA 2080TI 2070S,ESXI6.7-7.0适用 - Vedio Talk - VLOG、科技、生活、乐分享

这一次直通后还是黑屏,不放弃,在网上又查了一圈,在一个国外的论坛上看到有人说在主机bios里设置使用pcie显卡输出,不要使用核显,没办法只能试一下了,没想支还真的成功了~

喜及而泣。。。

然后就是USB直通

ESXi直通USB键鼠

总结

  • ESXi 6.7

  • win 10 + ubuntu,macOS暂未安装

  • 只能直通一个独显,核显没敢再尝试,以后玩游戏只能升级显卡

  • 应该选择一个更适合虚拟化的CPU和主板,比如至强E系列的CPU




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:https://hqyman.cn/post/2838.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: