Techub News 消息，Redis推出全新託管語義緩存服務LangCache，目前已在Redis Cloud開放公開預覽。該服務通過語義匹配而非文本匹配識別相似提示，命中緩存時可跳過LLM調用，從而大幅降低API成本並提升響應速度。官方稱最高可節省90%的API成本，緩存命中響應速度提升最高達15倍。 LangCache工作流程為雙調用循環：應用在調用LLM前，先將提示詞發送至LangCache進行向量相似性搜索；若找到語義相近的已緩存條目，則直接返回緩存響應，無需調用LLM；若未命中，則正常調用LLM生成響應，並將該提示詞與響應存入緩存供後續使用。服務内置嵌入模型生成，也支持用戶自帶模型。 該服務可通過REST API訪問，並提供Python和JavaScript SDK。緩存行為可通過相似性阈值、TTL和淘汰策略等進行配置，命中率和節省成本可在Redis Cloud控制台監控。客戶Mangoes.ai報告其患者護理應用已實現70%的緩存命中率。（MarkTechPost）
内容來源：TECHUB NEWS
財華網所刊載內容之知識產權為財華網及相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、複製及建立鏡像等任何使用。
如有意願轉載，請發郵件至 content@finet.com.hk，獲得書面確認及授權後，方可轉載。
香港領先,世界一流的科技媒體平台 在數字化時代,Web3技術的崛起為媒體行業注入了新的活力。作為香港領先的Web3媒體平台,Techub News憑借其專業的團隊、豐富的資源和創新的業務模式,成為了行業内的佼佼者。Techub News,作為香港的科技媒體翹楚,致力於打造「香港領先,世界一流」的科技媒體和新媒體集群。Techub News平台提供最新、最快、最專業的Web3科技資訊,為用戶呈現科技前沿的無限魅力。
或
按钮分享