Skip to content
LMCache
⌘ K
LMCache
  • 入门指南
    • 概述
    • 安装
    • 快速入门
    • 配置参考
    • 基准测试
    • KV Cache 大小计算器
  • KV Cache 操作
    • CLI 参考
      • lmcache server
      • lmcache coordinator
      • lmcache describe
      • lmcache ping
      • lmcache query
      • lmcache bench
      • lmcache kvcache
      • lmcache quota
      • lmcache trace
      • lmcache tool
    • HTTP API
    • 前端仪表板
    • KV Cache SDK
  • 配置示例
    • Uniform Attention 模型
      • MiniMax M2 系列
      • Mistral / Devstral
      • Qwen3 MoE
      • Llama
      • Phi-3 / Phi-4
      • Mixtral
    • Hybrid Attention 模型
      • Gemma 3
      • Gemma 4
      • gpt-oss
      • Qwen3.5 / Qwen3.6 系列
      • DeepSeek-V4-Flash
      • GLM 5.1/5.2
      • MiniMax M3
  • 二级 KV 存储
    • 支持的后端
      • NIXL
      • 文件与块
        • 文件系统
        • FS(原生)
        • 原始块(Rust)
      • 远程与分布式
        • Bigtable
        • SageMaker HyperPod
        • S3
        • HF Bucket
        • Mooncake Store
        • RESP (Redis/Valkey)
        • Aerospike
      • DAX
      • 模拟
      • 故障注入
      • 插件(自定义 / 外部)
    • KV Cache 压缩
      • CacheGen
  • 分布式 KV Cache
    • 分离式预填充
    • P2P KV 缓存共享
    • 多服务器协调
    • KV Cache 管理
  • 在生产环境中使用 LMCache
    • 部署指南
    • Kubernetes 部署
    • Kubernetes Operator
    • 运行时插件
    • Dynamo 集成
  • 可观察性
    • 指标
    • 日志记录
    • 追踪
  • 社区
    • 社区会议
    • 博客
  • KV Cache 优化
    • CacheBlend
    • 分段式预填充
  • 开发者指南
    • 贡献指南
    • 添加原生后端
    • Adding a New Device Backend
    • 扩展 CLI
    • 扩展 HTTP API
  • 非 KV 缓存
    • 编码
    • 隐藏状态
  • 旧版(进程内模式)
    • 更多示例
    • 使用不同的存储后端
    • 异步加载
    • 使用不同的缓存策略
    • P2P KV 缓存共享
    • 编码器缓存
    • 使用 NIXL
    • 使用共享存储
    • 压缩
    • 逐层 KV 传输
    • LMCache 控制器
    • 混合
    • 多模态模型的 KV Cache 与 vLLM
    • 添加新的存储后端
    • vLLM 动态连接器
    • 配置 LMCache
    • 内部 API 服务器
    • 控制器 WebUI
    • 可观察性
    • Docker 部署
    • 性能调优
    • KV Cache 事件
    • 架构概述
    • 集成
    • 使用数据模块
    • 基本检查工具
    • 存储插件
    • 远程存储插件
LMCache
/
KV Cache 操作

KV Cache 操作#

检查、管理和观察正在运行的 lmcache server 的方法——通过命令行、HTTP 或 Web 前端。

  • CLI 参考
    • 安装
    • 可用命令
    • 输出格式
    • 添加新命令
  • HTTP API
    • 路由的来源
    • 服务器配置
    • 端点概述
    • 存活性和健康状态
    • 检查和状态
    • 缓存管理
    • 缓存对象和预取
    • 配额管理
    • 运行时 L2 重新配置
    • 可观察性
    • 诊断与调试
    • 添加新端点
  • 前端仪表板
    • 架构概述
    • 组件
    • 先决条件
    • 快速开始
    • 仪表板功能
    • CLI 参考
    • 插件配置键
    • 使用自定义发现服务
  • KV Cache SDK
    • 为什么选择 KV Cache SDK
    • 它是如何工作的
    • 配置
    • 编写自定义编辑函数
    • API 参考
KV Cache 大小计算器
CLI 参考

© 2024, The LMCache Team Built with Sphinx 8.2.3