
8月14日,小红书发布dots3-notepreview开源大模型,该模型总参数量为280B,激活参数量为16B,支持文本、视觉、语音全模态感知理解。同日,华为宣布昇腾Atlas800A3和Atlas900A3SuperPoD超节点已完成该模型的全量适配,并基于vLLM-Ascend开源推理引擎提供完整部署与推理能力。适配工作在模型发布当天完成,关键优化包括全模态端到端适配、框架深度特性优化及MTP投机推理原生支持,提升了推理吞吐与生成效率,满足高并发在线业务的低时延需求。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”