使用此交互式计算器来:
计算 KV Cache 大小:估算缓存特定数量的令牌所需的内存
计算最大令牌数:找出在可用的 GPU RAM 下可以缓存多少令牌
这可以帮助您规划 LMCache 部署的内存需求。