EIC

EIC（弹性瞬时缓存）是为 LLM KV Cache 设计的分布式数据库。它支持 RDMA、GDR，并具备分布式灾难容忍和扩展能力。您可以通过这些文章了解 EIC 的原理和架构：

• https://mp.weixin.qq.com/s/tasDqXf0Gxr3o_WCJ2IJUQ

• https://mp.weixin.qq.com/s/b_4YhTa96Zeklh23lv8qBw

部署 EIC

您可以访问官方链接 https://console.volcengine.com/eic 并通过 Web UI 在您的计算集群上部署 EIC KVCache。此外，我们在火山引擎中提供了特定的镜像，该镜像基于官方镜像集成了各种优化。您可以使用 tests/v1/storage_backend/test_eic.py 来检测 EIC 的连接性。

使用 EIC 部署模型

您可以通过官方接口启用 EIC KVCache 卸载，例如

export LMCACHE_CONFIG_FILE=/workspace/config/remote-eic.yaml
export VLLM_USE_V1=1

python3 -m vllm.entrypoints.openai.api_server \
  ... \
  --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'

示例 config.yaml:

chunk_size: 256
remote_url: "eic://your-eic-endpoint"
eic_instance_id: "your-eic-instance-id"
eic_flag_file: "your-eic-config-path"

有关更多详细信息，请参见 https://www.volcengine.com/docs/85848/1749188。