英偉達發佈 Switchyard Rust 代理，可路由並翻譯 OpenAI 與 Anthropic API 流量

Techub News 消息，英偉達發佈 Switchyard，這是一個用於大語言模型（LLM）流量的 Rust 代理和庫。該工具可在不同提供商間路由請求，在 OpenAI 和 Anthropic 的 API 格式之間進行翻譯，並記錄操作指標。它旨在解決團隊在運行編碼代理時，因後端模型 API 格式不匹配而需要重寫代理的問題。 Switchyard 目前處於預發佈和實驗階段，僅用於評估，不建議在生産環境中使用。它支持三種運行方式：針對編碼代理的啓動器、獨立代理服務器以及可嵌入 Rust 應用的庫。其路由算法包括直通、隨機、基於 LLM 分類器的路由以及階段路由器等。 該工具接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三種入站格式，並可將請求路由至 vLLM、NVIDIA NIM 或 Ollama 等後端。項目以 Apache 2.0 協議開源，文檔可在英偉達官網查閱。 （MarkTechPost）

内容來源：TECHUB NEWS