置顶 技术文章
为公司省钱往往省不到自己身上
hqy 发表于2023-03-24 浏览6032 评论1

编程&AI
太震撼!DeepSeek用226台H800服务器,日赚409万!
hqy 发表于2025-03-01 浏览68 评论0
太震撼!DeepSeek用226台H800服务器,日赚409万!大周末的,DeepSeek悄么声放了个大招。他们知乎官号发了一篇雄文,披露了【如何对DeepSeek V3/R1的推理系统进行优化】,文章有2大核心内容↓一、如何通过优化架构,让模型推理获得更大的吞吐和更低的延迟简单概括就是三板斧↓① 大规模跨节点专家并行② 计算-通信重叠优化③ 多级负载均衡策略前两步可以提升吞吐、降低延迟,而第三步用于优化GPU的占用率。DeepSeek在线推理系统架构图二、测算一下:在这种优化架构下,按照目前D