Skip to content
LMCache
Toggle navigation menu
⌘
K
LMCache
/
分布式 KV Cache
/
分离式预填充
分离式预填充
#
备注
分离式预填充的 MP 模式(多进程)实现
即将推出
。
在它发布之前,进程内实现(NIXL 和共享存储传输)已在
旧版部分
中记录:
使用 NIXL
。
分布式 KV Cache
P2P KV 缓存共享