vLLM 动态连接器

上游集成：

LMCache 与官方上游 vLLM 的集成是在 2025 年 2 月初 中引入的。

vLLM 从 lmcache 包导入连接器，并将其封装在 vllm/distributed/kv_transfer/kv_connector/v1/lmcache_connector.py 中：

from lmcache.integration.vllm.vllm_v1_adapter import LMCacheConnectorV1Impl

这意味着对 LMCache 连接器的任何更新都需要在上游 vLLM 中同步/更新。

vLLM 上游连接器的示例用法：

Pythonic Transfer Config:

from vllm.config import KVTransferConfig
ktc = KVTransferConfig(
    kv_connector="LMCacheConnectorV1",
    kv_role="kv_both",
)

命令行传输配置:

vllm serve "YOUR_MODEL" \
    --kv-transfer-config \
    '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'

动态连接器：

在 2025 年 6 月，vLLM 支持动态加载 KV 连接器实现，因此我们可以直接引用 LMCache 包中的连接器，而无需更新 vLLM。

来自 LMCache 的动态连接器示例用法：

Pythonic Transfer Config:

from vllm.config import KVTransferConfig
ktc = KVTransferConfig(
    kv_connector="LMCacheConnectorV1Dynamic",
    kv_role="kv_both",
    kv_connector_module_path="lmcache.integration.vllm.lmcache_connector_v1",
)

命令行传输配置：

vllm serve "YOUR_MODEL" \
    --kv-transfer-config \
    '{"kv_connector":"LMCacheConnectorV1Dynamic","kv_role":"kv_both","kv_connector_module_path":"lmcache.integration.vllm.lmcache_connector_v1"}'

这允许 LMCache 修改/开发连接器并快速插拔。

未来任何自定义适配器将会在这里记录，以及可能对上游连接器的弃用。