旧版(进程内模式)#

警告

这些页面记录了 LMCache 的原始 进程内模式,即 LMCache 在推理引擎进程 内部 运行(例如通过 LMCacheConnectorV1 集成到 vLLM)。进程内模式已 废弃;新的部署应使用 多进程(MP)模式

背景#

LMCache 最初是一个直接嵌入推理引擎的进程内库。多进程重构将 LMCache 迁移至独立的 lmcache server,并将 异步预取架构 设为默认——即执行 LOOKUP 后在后台进行 L2→L1 加载——同时带来进程隔离、跨引擎实例的共享缓存以及多层(L1/L2)存储。

MP 模式(多进程)现为推荐模式,并正持续完善以支持进程内模式的几乎全部功能。以下页面保留供仍在使用进程内模式的用户参考,也作为历史资料——待 MP 模式填补剩余空白期间可查阅;若某项功能已有对应的 MP 模式实现,请优先参考 MP 文档。