PANews 9月12日消息，阿裡巴巴旗下通義千問發佈了下一代基礎模型架構Qwen3-Next，並開源了基於該架構的Qwen3-Next-80B-A3B係列模型。該結構相比Qwen3的MoE模型結構,進行了以下核心改進：混合注意力機制、高稀疏度MoE結構、一係列訓練穩定友好的優化，以及提升推理效率的多token預測機制。基於Qwen3-Next的模型結構，阿裡訓練了Qwen3-Next-80B-A3B-Base模型，該模型擁有800億參數僅激活30億參數。該Base模型實現了與Qwen3-32B dense模型相近甚至略好的性能，而它的訓練成本(GPU hours) 僅為Qwen3-32B的十分之一不到，在32k以上的上下文下的推理吞吐則是Qwen3-32B的十倍以上，實現了極致的訓練和推理性價比。
内容來源：PANews
財華網所刊載內容之知識產權為財華網及相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、複製及建立鏡像等任何使用。
如有意願轉載，請發郵件至 content@finet.com.hk，獲得書面確認及授權後，方可轉載。
PANews是區塊鏈和Web3.0領域領先的智庫型信息平台，為行業用戶提供具有國際視野的前沿資訊與報告。PANews優質多元的内容以圖文、音頻、視頻等形式在全網多渠道覆蓋，包含推特、微博、抖音、視頻號等主流平台，旨在成為用戶的Web3信息官。PANews同時還是騰訊新聞的内容合作夥伴，内容被福佈斯、財新等媒體引用，獲得騰訊新聞、今日頭條、澎湃新聞等頒發的相關獎項。PANews的兩位聯合創始人均為福
或
按钮分享