lmcache coordinator#

lmcache coordinator 命令启动 LMCache MP 协调器，这是一个独立的 HTTP 服务，用于跟踪部署中的 MP 服务器实例。MP 服务器向其注册并发送定期心跳；协调器会逐出任何心跳超时的实例，该超时时间由 --instance-timeout 指定。

它替代了 python -m lmcache.v1.mp_coordinator。该进程在前台运行；使用 Ctrl-C 停止它。

lmcache coordinator [options]

快速开始#

lmcache coordinator \
    --host 0.0.0.0 --port 9300 \
    --instance-timeout 30 \
    --health-check-interval 10

选项#

标志

描述

--host HOST

协调器 HTTP 服务器的绑定地址（默认：0.0.0.0）。

--port PORT

HTTP 端口（默认值：9300）。

--instance-timeout SECS

在没有心跳的情况下，经过多少秒后实例被逐出（默认值：30）。

--health-check-interval SECS

健康检查扫描之间的秒数；0 禁用循环（默认值：10）。

--eviction-check-interval SECS

L2 逐出扫描之间的秒数；0 禁用循环（默认值：5）。

--eviction-ratio RATIO

每个周期逐出的跟踪键的比例（按计数），0.0 到 1.0（默认值：0.2）。

--trigger-watermark RATIO

当使用量达到配额的这个比例时会触发逐出，0.0（不包括）到1.0（默认值：1.0）。

--blend-chunk-size N

全局 CacheBlend 目录中每个块的令牌数；必须等于混合服务器使用的 LMCache 块大小（默认值：256）。

--blend-probe-stride N

在 CacheBlend 匹配探测之间的位置；1 在每个偏移量处探测以实现完全回忆（默认值：1）。

--timeout-keep-alive SECS

Seconds the HTTP server keeps idle connections open before closing them. Must be greater than the MP servers' heartbeat interval (default 5), otherwise heartbeat requests may hit a closing connection and fail with Server disconnected without sending a response (default: 10).

配置#

Every flag is optional. Unset flags fall back to the LMCACHE_MP_COORDINATOR_* environment variables (HOST, PORT, INSTANCE_TIMEOUT, HEALTH_CHECK_INTERVAL, EVICTION_CHECK_INTERVAL, EVICTION_RATIO, TRIGGER_WATERMARK, BLEND_CHUNK_SIZE, BLEND_PROBE_STRIDE, TIMEOUT_KEEP_ALIVE), and then to the built-in defaults. A supplied flag always overrides the matching env-derived value, so env-only deployments keep working unchanged.

第二组仅环境的控制选项控制启动 L2 重新同步 — LMCACHE_MP_COORDINATOR_ENABLE_STARTUP_RESYNC（默认 True）、LMCACHE_MP_COORDINATOR_RESYNC_POLL_INTERVAL（1）、LMCACHE_MP_COORDINATOR_RESYNC_MAX_WAIT（60）和 LMCACHE_MP_COORDINATOR_RESYNC_PAGE_SIZE（1000）。有关启动时重新同步流程和活动逐出循环，请参见 多服务器协调。

协调器通过调用每个 MP 服务器的 DELETE /l2 端点来驱动全队列的 L2 逐出，并且 resync 在注册的 MP 服务器上对 GET /l2/keys 进行分页。这两个端点的文档见 Cache Objects And Prefetch。

请参阅 多服务器协调 以了解协调器的架构、注册协议和 HTTP API。