Skip to content

⌘ K

Welcome to LMCache

Welcome to LMCache!

Getting Started

安装
快速入门
更多示例
基准测试
KV Cache 大小计算器
CLI 参考
故障排除
常见问题解答
独立启动器

Recipes

食谱

KV Cache offloading and sharing

使用不同的存储后端
异步加载
使用不同的缓存策略
P2P KV Cache 共享

Non-KV caching

编码器缓存

Multiprocess Mode

多进程模式

Disaggregated prefill

使用 NIXL
- 1p1d
- XpYd
使用共享存储

KV Cache management

LMCache 控制器

KV Cache Optimizations

压缩
- CacheGen
混合
逐层 KV 传输

Use LMCache in production

Docker 部署
Kubernetes 部署
KV Cache 事件
可观察性
性能调优

CLI

CLI 参考

Internal API Server

内部 API 服务器

Controller WebUI

控制器 WebUI

Developer Guide

贡献指南
Dockerfile
架构概述
集成
扩展 LMCache
扩展 CLI
使用数据模块
- 基本检查工具
- 使用统计收集

API Reference

配置 LMCache
添加新的存储后端
vLLM 动态连接器
多模态模型的 KV Cache 与 vLLM

Community

社区会议
博客

/

使用共享存储

使用共享存储#

敬请期待...

LMCache 控制器

© 2024, The LMCache Team Built with Sphinx 8.2.3