Redis推出語義緩存服務LangCache，可降低LLM API成本高達90%

Techub News 消息，Redis推出全新託管語義緩存服務LangCache，目前已在Redis Cloud開放公開預覽。該服務通過語義匹配而非文本匹配識別相似提示，命中緩存時可跳過LLM調用，從而大幅降低API成本並提升響應速度。官方稱最高可節省90%的API成本，緩存命中響應速度提升最高達15倍。 LangCache工作流程為雙調用循環：應用在調用LLM前，先將提示詞發送至LangCache進行向量相似性搜索；若找到語義相近的已緩存條目，則直接返回緩存響應，無需調用LLM；若未命中，則正常調用LLM生成響應，並將該提示詞與響應存入緩存供後續使用。服務内置嵌入模型生成，也支持用戶自帶模型。 該服務可通過REST API訪問，並提供Python和JavaScript SDK。緩存行為可通過相似性阈值、TTL和淘汰策略等進行配置，命中率和節省成本可在Redis Cloud控制台監控。客戶Mangoes.ai報告其患者護理應用已實現70%的緩存命中率。（MarkTechPost）

内容來源：TECHUB NEWS