Fly Language Model 將果蠅全腦連接組接入 12 億參數大模型，實驗顯示連接組未提升性能

Techub News 消息，研究人員發佈 Fly Language Model（FLM），將完整的雄性果蠅中樞神經係統連接組（166,700 個節點、2558 萬條有向邊）接入一個凍結的 LiquidAI LFM2.5-1.2B-Instruct 大語言模型主幹。該模型僅訓練 27.8 萬個參數的讀出層，佔主幹參數的約 0.0238%。 在 32 個日常對話數據集上的測試顯示，接入果蠅連接組的模型將每個詞元的負對數似然降低了 0.0222 納特，但一個無連接圖的直接輸入控制模型在所有三次實驗種子中表現更優，差異為 0.000488 納特。研究證明，連接組確實參與了計算，但並未帶來特異性增益，且其狀態記憶每詞元衰減 0.6，未能提供長期記憶。 開發者明確表示不宣稱這是首個基於連接組的語言模型，其特點在於使用了完整的連接組圖並採用凍結主幹設計。模型代碼已在 MIT 許可下開源，可在本地 Python 3.12 環境運行。 （MarkTechPost）

内容來源：TECHUB NEWS