
8月6日,华为计算官方宣布,昇腾基于AscendC编程语言提供完整的训推一致算子集,在Qwen3-30BMoE模型测试中实现推理与训练过程的数值一致性(Logdiff为0)。昇腾通过FA算子优化,在Eager模式下获得20%-60%的性能提升。昇腾针对Rollout引擎与训练引擎间的数值不一致问题,通过统一注意力语义、锁定reduce累加序、对齐在线Softmax分块策略及对齐关键路径精度四项优化,确保训练与推理在数值路径上的一致性。相关基础设施已开源,并将上线“训推一致问题识别Skill”,用于排查残余logdiff并定位问题根源。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”