lmcache 服务器

lmcache server 命令启动独立的 LMCache 多进程 (MP) 服务器，该服务器暴露 ZMQ 控制平面和 HTTP 前端 (状态、健康检查、清除缓存、校验和 API)。这是 lmcache describe、lmcache ping kvcache、lmcache kvcache 和 lmcache bench server 进行交互的服务器。

备注

此命令需要完整的 lmcache 安装，并带有 CUDA 扩展。它在轻量级的 lmcache-cli 包中 不可用。

lmcache server [options]

快速开始

lmcache server \
    --host 0.0.0.0 --port 5555 \
    --l1-size-gb 100 \
    --eviction-policy LRU

选项

服务器从多个配置模块组合其参数——多进程服务器、存储管理器（L1 / L2 适配器 / 逐出）、HTTP 前端以及 Prometheus / 监控可观察性层。完整的权威列表很大，并随着运行时而变化，因此请参考：

lmcache server --help

常用的标志包括：

标志	描述
--host HOST	服务器的绑定地址。
--port PORT	ZMQ 控制平面端口。
--chunk-size N	KV Cache 块大小（以 token 为单位）。
--l1-size-gb GB	L1 (CPU/DRAM) 缓存容量（以 GB 为单位）。
--eviction-policy POLICY	L1 逐出策略（例如 LRU）。
--eviction-trigger-watermark RATIO	开始逐出的 L1 填充比率。
--eviction-ratio RATIO	每个逐出周期清除的 L1 分数。
--max-workers N	服务器工作进程的数量。
--coordinator-url URL	在此基础 URL（例如 http://coordinator:9300）注册 MP 协调器。可选；启用车队注册。请参见 多服务器协调。
--coordinator-advertise-ip IP	协调器应通过此服务器访问的 IP（默认为出站 IP）。
--coordinator-heartbeat-interval SECONDS	心跳之间的秒数（> 0，默认值为 5）。应远低于协调器的实例超时。
--trace-level {storage}	启用存储级别的追踪记录（请参见 lmcache 跟踪）。
--trace-output PATH	记录的 .lct 跟踪文件的目标。

L2 适配器、可观察性和 Prometheus 导出器通过各自的标志组进行配置；有关完整的设置，请参见 lmcache server --help。