CLI 参考#

lmcache 命令行接口提供了管理和检查 LMCache 服务器的工具。

lmcache <command> [options]

安装 LMCache 后，lmcache 命令可以全局使用。运行 lmcache -h 查看所有命令。

可用命令#

命令

描述

describe

显示正在运行的 LMCache 服务的详细状态。

query

服务引擎的单次查询接口。

ping

对 LMCache 或 vLLM 服务器的存活检查。

bench

Run sustained performance benchmarks against an inference engine, an end-to-end sanity test against an LMCache MP server, or a throughput/latency benchmark against an L2 cache adapter.

kvcache

管理 KV Cache 状态（例如，清除 L1 缓存）。

server

启动 LMCache 服务器（ZMQ + HTTP）。

有关带有示例的全面指南，请参见 CLI 参考。