【网通社快报】华为昇腾AI芯片实现训推一致性Logdiff为0,性能提升20%-60%
汽车
汽车 > 汽车资讯 > 正文

【网通社快报】华为昇腾AI芯片实现训推一致性Logdiff为0,性能提升20%-60%

8月6日,华为计算官方宣布,昇腾基于AscendC编程语言提供完整的训推一致算子集,在Qwen3-30BMoE模型测试中实现推理与训练过程的数值一致性(Logdiff为0)。昇腾通过FA算子优化,在Eager模式下获得20%-60%的性能提升。昇腾针对Rollout引擎与训练引擎间的数值不一致问题,通过统一注意力语义、锁定reduce累加序、对齐在线Softmax分块策略及对齐关键路径精度四项优化,确保训练与推理在数值路径上的一致性。相关基础设施已开源,并将上线“训推一致问题识别Skill”,用于排查残余logdiff并定位问题根源。

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载