常见问题#

本页汇总 LMCache 社区最常被问到的问题，以及项目维护者给出的回答。本页由社区维护：问题来自 Slack、GitHub 以及小红书等社区渠道，在此集中整理。

英文页面是本内容的源文本。翻译以 gettext catalog 的形式维护在 docs/source/locale/ 下，并与英文页面一同发布 —— 关于如何贡献问题、答案或翻译，请参见贡献指南。

备注

下面有几条回答被标记为需要维护者确认。它们记录了社区讨论中的说法，但内容不完整、没有注明日期，或尚未与当前代码核对。请将其视为暂定内容；如果给出了参考链接，请以链接为准。

项目与路线图#

整个 AI 生态还是以 Python 为主的，像 vLLM、SGLang 都是 Python 的，而且上手也快，对新人友好，所以 LMCache 也是选择用 Python 实现的。

但完全可以，而且已经有人用 C++/Rust 重写过 LMCache 的 server 端，但 LMCache 的主体还是会以 Python 为主，保持与整个生态一致。

由 @maobaolong 回答。首次提问来自小红书。

官方支持的模型会更新到 LMCache recipes，并随支持情况持续更新。

由 @maobaolong 回答。

LMCache MP（多进程）模式本身在 k8s 部署时作为一个 DaemonSet，需要额外的管理逻辑。同时，我们也有 coordinator、plugin 等等各个部件，都需要额外的控制面来进行操控。所以目前我们维护一个自己独立的 k8s operator。

由 @ApostaC 回答。

是的。这是一个目前的已知行为，主要是为了跨 GPU 的 KV Cache 共享特性。未授予这些权限时部署会失败。这部分我们之后会推出不需要特殊权限的方案。

目前已经支持 GDS（GPUDirect Storage），并且社区刚合入一个 PR，支持 uGDS。GDR（GPUDirect RDMA）目前在 roadmap 中。

备注

需要维护者确认。 社区讨论中提到可以引用 uGDS 论文中的测量数据，理由是其测试基于 LMCache，但没有记录具体数字或引用出处。这条回答需要补充明确的参考来源和数据后才有价值。

取决于模式。EngineDriven mode 不需要 IPC（进程间通信）event，LMCacheDriven mode 是需要的。目前摩尔线程 MUSA 支持 LMCacheDriven mode。

目前核心团队主要在做最新的 vLLM 支持，目前代码还没有完全准备好开源。

备注

需要维护者确认。 原始回答提到预计“这个季度”会有一个开源版本，但该说法没有注明日期，因此时间点不可依赖。需要补充当前的目标日期。

由 @ApostaC 回答。

备注

需要维护者确认。 社区提出了这个问题，但没有记录到回答，只留下一个指向小红书某篇文章的线索，且该文章未被具体指明。

不一定。context 文本在 agent 客户端中保存，提问时一起带过来，这与 KV Cache 无关。

LMCache 可以提供 pin 之类的功能，强制 KV Cache 保存在系统中，这样就可以保证这个会话可以命中 KV Cache。

由 @ApostaC 回答。

这个问题来自一位希望把一些 sub agent 的对话不要记住 KV Cache、只需要保留主会话的 KV Cache 的用户。

inProcess mode 之前支持过解析 request 带一个 extra param 来指示是否 disable cache，但目前 MP mode 暂未移植该功能，可以很快支持。

目前 MP 模式下有 mp coordinator 模块，已经支持了 lookup、prefetch、pin、delete 等功能，也支持重启之后重新同步、checkpointing 等功能。