Skip to content

⌘ K

入门指南

KV Cache 操作

配置示例
- Uniform Attention 模型
- Hybrid Attention 模型

二级 KV 存储
- 支持的后端
- KV Cache 压缩
  - CacheGen

分布式 KV Cache

在生产环境中使用 LMCache

可观察性

社区
- 社区会议
- 博客

KV Cache 优化
- CacheBlend
- 分段式预填充

开发者指南

非 KV 缓存
- 编码
- 隐藏状态

旧版（进程内模式）

/

旧版（进程内模式）

/

使用共享存储

使用共享存储#

敬请期待...

© 2024, The LMCache Team Built with Sphinx 8.2.3