PANews 9月12日消息，阿裡巴巴旗下通義千問發佈了下一代基礎模型架構Qwen3-Next，並開源了基於該架構的Qwen3-Next-80B-A3B係列模型。該結構相比Qwen3的MoE模型結構,進行了以下核心改進：混合注意力機制、高稀疏度MoE結構、一係列訓練穩定友好的優化，以及提升推理效率的多token預測機制。基於Qwen3-Next的模型結構，阿裡訓練了Qwen3-Next-80B-A3B-Base模型，該模型擁有800億參數僅激活30億參數。該Base模型實現了與Qwen3-32B dense模型相近甚至略好的性能，而它的訓練成本(GPU hours) 僅為Qwen3-32B的十分之一不到，在32k以上的上下文下的推理吞吐則是Qwen3-32B的十倍以上，實現了極致的訓練和推理性價比。
内容來源：PANews
財華網所刊載內容之知識產權為財華網及相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、複製及建立鏡像等任何使用。
如有意願轉載，請發郵件至 content@finet.com.hk，獲得書面確認及授權後，方可轉載。
或
按钮分享