Techub News 消息，Tether 宣佈推出 QVAC Fabric 中的跨平台 BitNet LoRA 微調框架，實現對 Microsoft BitNet（1-bit LLM）的訓練與推理優化。該框架顯著降低算力與内存需求，使十億參數級模型可在筆記本、消費級 GPU 及智能手機上完成訓練與微調。該方案首次實現 BitNet 模型在移動端 GPU（包括 Adreno、Mali 及 Apple Bionic）上的微調，測試顯示，125M 參數模型可在約 10 分鐘内完成微調，1B 模型約 1 小時級別完成，甚至在手機端可擴展至 13B 參數模型。此外，該框架支持 Intel、AMD 及 Apple Silicon 等異構硬件，並首次實現非 NVIDIA 設備上的 1-bit LLM LoRA 微調。性能方面，BitNet 模型在移動 GPU 上的推理速度較 CPU 提升 2 至 11 倍，同時在顯存佔用上較傳統 16-bit 模型最高降低約 77.8%。Tether 表示，該技術有望打破對高端算力與雲基礎設施的依賴，推動 AI 訓練向去中心化與本地化發展，並為聯邦學習等新型應用場景提供基礎。
内容來源：TECHUB NEWS
財華網所刊載內容之知識產權為財華網及相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、複製及建立鏡像等任何使用。
如有意願轉載，請發郵件至 content@finet.com.hk，獲得書面確認及授權後，方可轉載。
或
按钮分享