19
2024
11
20:58:00

HR650x折腾(踩坑)记

一只白泽_沧渊编辑于 2024年08月27日 12:43

最近,3647平台迎来大跳水,就连华南都开始做3647了



作者也入手了一台联想的HR650X(应该是腾讯云大量下架机器,这批次似乎都是后八家科技的保修贴),绕了点弯路,总结了点坑

1.主板


指不定奸商就给你16个dimm的机器


这款机器的内存有两种配置:24槽和16槽,而且对内存有谜之兼容性(也许是我cpu不好)有时候需要交换CPU才能认出各cpu的内存

2.CPU

众所周知,LGA3647平台是intel的新至强(铂金银铜)一二代共用,但目前二代价格居高不下,而一代的金牌6138 180r左右就能入手,20核40线,数框玩家狂喜

但是一代新至强最致命的缺点就是不能用正式版傲腾内存(1T内存梦想破灭)

3.内存

谜之兼容性暂且不提(大抵是我混插不同品牌导致的)

推荐一次买齐,同品牌同频率(金士顿和美光可以看作同厂商,见下图)


一模一样


推荐2R4的内存(如果嫌贵就上4R4,试过,我的这套配置装上开不了机)

4.电源和风扇

大坑!电源是联想专有接口,并且死贵(200起步),希望有大佬破解接口

万恶的专有接口

风扇只能通过CLI调速

ref:https://www.visionwyz.pro/article/hr-650x-practice

ipmitool sensor// 查看所有sensor信息ipmitool raw 0x2e 0x31// 检查风扇转速// 0b 14 14 14 14 14 14 14 14// 这里显示是16进制的百分比,100%对应64ipmitool raw 0x2e 0x30 00 00 100// 倒数第二个00:调整所有风扇// 100:转速100%,等于0x64ipmitool raw 0x2e 0x30 00 n 100// 调整第n个风扇,n=01~08//这里因为在本地执行,所以不需要引用文章里的lanplus

自动调节:https://github.com/Vision0220/HR650X-IPMI-Auto-Fan

5.RISER&硬盘背板

都是大坑,

riser2,2*FHFL(Full Height Full Length全高全长)

高❤️清?无?码?RISER?luo?照?流?出

riser1,2*FHFL(Full Height Full Length全高全长)+1*FHHL(Full Height Half Length全高半长)

杂❤️鱼❤️~

据观测,这riser卡,十分的珍贵,以至于我的riser1(高贵的3*pcie x8)花了160r


外观看上去与DELL的某型号(r730?)riser及其类似,望富哥一试

硬盘背板有数种配置,2U2 4U2 8U2 但是没听说过12U2的(一个比一个贵,还有8盘位2.5“),毕竟U2全闪阵列只有富哥玩得起,所以这台服务器十分自信的删去了板载阵列卡,所以记得自备阵列卡

接下来盘架,八块一个。在低配条件下,盘架有足够潜力超过整机价格

富哥是这样的,垃圾佬只需要考虑运行起来,能开机就行,但是富哥需要考虑的就多了,他们要面临的就是下面的大坑

6.GPU

富哥攫取大量显卡。他有钱后,串通闲鱼的商家,利用钞能力,以“硬性索取”、“授意试制”等手法,巧取豪夺了A100、H100、A800、H800、P40 24G、M40、等大量英伟达产品。就以电源线一类来说,一次就拿高级算力卡EPS电源线35条、小16pin线60箱、8pin线20多根。

Intel为了统一电源标准,硬要给他制ATX12VO的标准。工厂只好停止部分正常主板生产,日夜赶制,突击一周,造出20批,intel仅选去2张服务器主板,耗费1万多元。又如,为计算卡专门精制5条电源线,调动了7个工厂、一个商店的40余名技术人员,花费富哥11000多元。富哥用的散热器,也要给他特制,加工单位仅为制挡板,花了半个多月时间,专门制了两套模具,这一项就耗费1600多元。

别看这电源线小,可贵着呢,一条不到20cm的线子50+,但是这在富哥面前都不是事,毕竟运算卡都能堆成山

7.网卡

他们会送你一张X557 10G OCP网卡,你也可以掏出自己压箱底的魔改CX341a,也可以去鱼上买一张七十多块钱的CX4421A的25G(我半个月前看还只要四十多)

8.BMC/UEFI

密码不知道?系统能进吗?能进系统就能刷BMC

部分大佬给的提示(BV1H1421D7pu)

BIOS&BMC网址:https://datacentersupport.lenovo.com/cn/zc/products/servers/thinksystem-hyperscale/hr650x/7x57/7x57cto1ww/j300cvx2/downloads/driver-list/

支持above 4g,不支持resizableBAR(具体情况请自己用AMIBCP看)

risizable Bar强制开启 (未尝试,BIOS在上面)







1. 内存不能随便插,https://pubs.lenovo.com/sr650/zh-CN/dimm_installation_dram_independent_mode_2 2. 6133我买的时候是340,现在涨到500,还没货,都是你们买的?? 3. riser卡我买了俩就是为了插nvme转换卡和显卡,但是发现读写速度是在电脑上的一半,阵列卡没有特殊需求不要搞,折腾,不插硬盘都烫手,我的已经闲置了。我就弄了几个12G黑盘直接插背板上了。 4. 风扇调整我自己写了下脚本,可以实现插一个cpu只转上面3个风扇,插两个cpu转6个风扇,docker映射一下/dev/ipmi0:/dev/ipmi0,非常省心,跑了2个多月,很顺滑。有想要的可以给我留言,我在github上开源出来,现在因为是代码跟我自己的项目放在一起的就没弄 5. 如果想利用起来自己闲置的硬盘记得买这个这个主板专用的sata线,型号忘了,好像20块钱一条


系统有限制,ref:https://learn.microsoft.com/zh-cn/windows/win32/memory/memory-limits-for-windows-releases

 

实测内存未插满的情况下不能插黑槽会不开机 内存混插试过2r8 2r4 没有4r4无法测试,试了下傲腾会报错 bios显示0gb 可能bios问题或者内存条不兼容

机器内存3T,加上傲腾6T 系统有限制,ref:https://learn.microsoft.com/zh-cn/windows/win32/memory/memory-limits-for-windows-releases



1.内存最好是同品牌同批次的,有条件可以买Lenovo贴牌的,SR650会检测内存是否为OEM来源并且BMC会在日志中警告,HR650X应该不会,但是我不确定; 2.DCPMM的问题,HR650X的5.90和China Channel的最新BIOS都是支持的,Pmem一定要插到黑色的槽中,同通道要插至少16G的内存; 3.大功率CPU:我分析了官网两个版本的BIOS,5.90的BIOS内包含支持大功率CPU的微码,但是上TDP高于205w的CPU需要破供电,不稳定所以不推荐。我朋友试了8222L是支持的,8273CL理论上有合适的微码也是支持的(参考ServeThehome的一篇文章),我不推荐其他人尝试在这种品牌服务器上使用这种破解过的大功率CPU,很不稳定; 4.Riser卡可以买带ML2接口的,支持ML2网卡(联想/IBM定制接口,实际走PCIe),因通用性低所以价格便宜; 5.阵列卡:如果想在BMC里管理阵列的话就只能买联想OEM版的卡,例如730-8i或930-8i,缺点是贵 6.能上8369HB是谣言 7.支持Pmem性价比较高的二代Xeon SP:6230,6267C,6278C,6263CY,8255C,8269CY/8269CA 不用改BIOS原生支持 8.不要想着在一个品牌的机器上混装其他品牌的配件,就算能运行也及其不稳定。 9.如果遇到硬件安装问题可以参考Lenovo Docs里关于SR650的说明,操作基本相同。


只有一代存在所谓的大功率cpu微码,即对p8124、p8136的支持(其实是步进3的微码),二代并没有大功率微码之说,8259cl、8275cl之流跟普通cpu微码是相同的



供电线死贵 riser卡规格抽象(好端端的偏搞个ML2接口)

如果愿意冒风险可以量出来供电直接焊线子 下面我自己量的 仅供参考 主板供电: |+12 +12 | +12 +12| -------------------------- | G | G | G | G | M.2供电: | G N D | ----------- |+3.3|+5|




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:http://hqyman.cn/post/8477.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: