内部 API 服务器指标#

另一种获取 LMCache 指标的方法是使用内部 API 服务器。

概述#

内部 API 服务器在您的 LMCache 部署中公开与 Prometheus 兼容的指标端点。

快速入门指南#

步骤 1：启用内部 API 服务器#

配置您的 vLLM 实例以启用内部 API 服务器：

LMCACHE_INTERNAL_API_SERVER_ENABLED=true \
vllm serve $model \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'

步骤 2：访问指标端点#

从工作节点的端点检索指标：

curl http://$IP:7000/metrics

端口配置#

以下环境变量隐式使用其默认值：

默认端口配置#

环境变量

默认值

描述

LMCACHE_INTERNAL_API_SERVER_HOST

0.0.0.0

内部 API 服务器绑定的主机地址。

LMCACHE_INTERNAL_API_SERVER_PORT_START

6999

起始端口号，例如：

  • 调度程序：port_start + 0 (6999)

  • 工作线程 0: port_start + 1 (7000)

  • Worker 1: port_start + 2 (7001)

因此，上述指标端点的 curl 命令使用端口 7000。

高级用法#

有关全面的测试和配置选项，请参阅 testing_internal_api_server 以获取详细示例和最佳实践。