配置示例#

本节列出了通过 LMCache 端到端验证的模型架构,每个架构均有一个对应的配置示例页面,仅涵盖与默认值不同的 LMCache 特定配置。引擎端文档(如何部署模型本身)随服务引擎维护;配置示例页面提供外部链接,不重复已有内容。

有关通用的 LMCache + 引擎连接配置(端口、远程主机、发送第一个请求),请参见 快速入门 —— 各配置示例页面均以该文档为前提。

配置示例按注意力架构分组: