Techub News 消息,英偉達發佈 Switchyard,這是一個用於大語言模型(LLM)流量的 Rust 代理和庫。該工具可在不同提供商間路由請求,在 OpenAI 和 Anthropic 的 API 格式之間進行翻譯,並記錄操作指標。它旨在解決團隊在運行編碼代理時,因後端模型 API 格式不匹配而需要重寫代理的問題。 Switchyard 目前處於預發佈和實驗階段,僅用於評估,不建議在生産環境中使用。它支持三種運行方式:針對編碼代理的啓動器、獨立代理服務器以及可嵌入 Rust 應用的庫。其路由算法包括直通、隨機、基於 LLM 分類器的路由以及階段路由器等。 該工具接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三種入站格式,並可將請求路由至 vLLM、NVIDIA NIM 或 Ollama 等後端。項目以 Apache 2.0 協議開源,文檔可在英偉達官網查閱。 (MarkTechPost)
内容來源:TECHUB NEWS
財華網所刊載內容之知識產權為財華網及相關權利人專屬所有或持有。未經許可,禁止進行轉載、摘編、複製及建立鏡像等任何使用。
如有意願轉載,請發郵件至 content@finet.com.hk,獲得書面確認及授權後,方可轉載。
香港領先,世界一流的科技媒體平台 在數字化時代,Web3技術的崛起為媒體行業注入了新的活力。作為香港領先的Web3媒體平台,Techub News憑借其專業的團隊、豐富的資源和創新的業務模式,成為了行業内的佼佼者。Techub News,作為香港的科技媒體翹楚,致力於打造「香港領先,世界一流」的科技媒體和新媒體集群。Techub News平台提供最新、最快、最專業的Web3科技資訊,為用戶呈現科技前沿的無限魅力。