Skip to content

⌘ K

入门指南

Platform
- CPU
- CUDA
- HPU
- Cambricon MLU Backend
- musa-aiter with LMCache on MUSA
- Neuron
- NPU
- Rebellions NPU
- ROCm
- SUPA
- XPU

KV Cache 操作

配置示例

二级 KV 存储
- 支持的后端
- KV Cache 压缩
  - CacheGen
使用不同的存储后端

分布式 KV Cache

在生产环境中使用 LMCache

可观察性

社区

KV Cache 优化

开发者指南

非 KV 缓存
- 编码

旧版（进程内模式）

/

旧版（进程内模式）

/

Non-KV Caching

Non-KV Caching#

Encoder caching
Hidden states

Encoder caching

© 2024, The LMCache Team Built with Sphinx 8.2.3