Linkup Research 發佈開源稀疏嵌入模型 SPARSEUP，參數量 1.49 億

Techub News 消息，研究團隊 Linkup Research 發佈開源稀疏嵌入模型 SPARSEUP。該模型基於 1.49 億參數的 ModernBERT 主幹網絡構建，採用 Apache 2.0 許可協議發佈。據團隊報告，其在 BEIR-13 基準測試上的平均 nDCG@10 得分為 56.4，並稱這是目前已知參數量低於 1.5 億、基於公共詞匯的最強稀疏編碼器。 模型權重已託管於 Hugging Face，可通過 Transformers 或 Sentence Transformers 加載。該模型旨在填補 LightOn 近期發佈 DenseOn 和 LateOn 模型後缺失的稀疏檢索方案，使用相同的主幹網絡係列和微調數據，以便進行三種檢索風格的橫向比較。 在速度與稀疏性方面，SPARSEUP 在 MS MARCO 數據集上平均每個查詢有 47 個非零項，每個文檔有 190 個。使用 Seismic 倒排索引時，單綫程下每個查詢約 380 微秒即可達到超過 97% 的召回率。（MarkTechPost）

内容來源：TECHUB NEWS