01
2025
03
太震撼!DeepSeek用226台H800服务器,日赚409万!
太震撼!DeepSeek用226台H800服务器,日赚409万!大周末的,DeepSeek悄么声放了个大招。他们知乎官号发了一篇雄文,披露了【如何对DeepSeek V3/R1的推理系统进行优化】,文章有2大核心内容↓一、如何通过优化架构,让模型推理获得更大的吞吐和更低的延迟简单概括就是三板斧↓① 大规模跨节点专家并行② 计算-通信重叠优化③ 多级负载均衡策略前两步可以提升吞吐、降低延迟,而第三步用于优化GPU的占用率。DeepSeek在线推理系统架构图二、测算一下:在这种优化架构下,按照目前D
作者:hqy | 分类:编程&AI | 浏览:6 | 评论:0