【网通社快报】OpenAI公布自研推理芯片Jalapeño性能数据，计划2024年底小规模部署

8月25日，OpenAI在HotChips大会上公布了其自研推理系统Jalapeño的详细信息及基准测试结果。该芯片由OpenAI与博通共同开发，专注于AI推理任务。在SemiAnalysis的InferenceX测试中，Jalapeño在单用户token处理量和每千瓦吞吐量方面均超过当前主流推理处理器。测试数据显示，与英伟达GB200和GB300超级芯片系统相比，Jalapeño每瓦完成的AI工作量为对比系统的1.5至1.9倍，端到端延迟为对比系统的28%至59%。OpenAI硬件负责人理查德·何表示，Jalapeño通过全栈协同设计优化了推理过程中的瓶颈，减少预填充和通信阶段的延迟，并通过本地保留模型状态、按推理阶段动态调配计算、内存和网络资源来降低数据搬运和通信开销。OpenAI计划于2024年底前小规模部署Jalapeño，并在2027年逐步扩大部署规模，但未披露2025年具体芯片投入数量。