Techub News 消息，Redis推出全新托管语义缓存服务LangCache，目前已在Redis Cloud开放公开预览。该服务通过语义匹配而非文本匹配识别相似提示，命中缓存时可跳过LLM调用，从而大幅降低API成本并提升响应速度。官方称最高可节省90%的API成本，缓存命中响应速度提升最高达15倍。 LangCache工作流程为双调用循环：应用在调用LLM前，先将提示词发送至LangCache进行向量相似性搜索；若找到语义相近的已缓存条目，则直接返回缓存响应，无需调用LLM；若未命中，则正常调用LLM生成响应，并将该提示词与响应存入缓存供后续使用。服务内置嵌入模型生成，也支持用户自带模型。 该服务可通过REST API访问，并提供Python和JavaScript SDK。缓存行为可通过相似性阈值、TTL和淘汰策略等进行配置，命中率和节省成本可在Redis Cloud控制台监控。客户Mangoes.ai报告其患者护理应用已实现70%的缓存命中率。（MarkTechPost）
内容来源：TECHUB NEWS
财华网所刊载内容之知识产权为财华网及相关权利人专属所有或持有。未经许可，禁止进行转载、摘编、复制及建立镜像等任何使用。
如有意愿转载，请发邮件至 content@finet.com.hk，获得书面确认及授权后，方可转载。
或
按钮分享