GptOssForCausalLM#

验证模型#

引擎文档： vLLM 支持的模型中的 GPT-OSS （架构 GptOssForCausalLM）。

状态: 已通过 LMCache 验证。

启动 LMCache MP 服务器：

lmcache server --l1-size-gb 100 --eviction-policy LRU

gpt-oss-120b (2 GPUs):

vllm serve openai/gpt-oss-120b \
    --tensor-parallel-size 2 \
    --enable-auto-tool-choice \
    --tool-call-parser openai \
    --kv-transfer-config \
    '{"kv_connector":"LMCacheMPConnector", "kv_role":"kv_both"}'

gpt-oss-20b (1 GPU):

vllm serve openai/gpt-oss-20b \
    --enable-auto-tool-choice \
    --tool-call-parser openai \
    --kv-transfer-config \
    '{"kv_connector":"LMCacheMPConnector", "kv_role":"kv_both"}'

调整 --tensor-parallel-size 以匹配您的硬件。有关通用 LMCache + vLLM 连接（端口、远程主机、进程内模式），请参见 快速开始。

如果在 vLLM 设置中遇到任何问题，请参考 vLLM Recipes 以获取更多详细信息。

状态： 未通过 LMCache 验证。

状态： 不支持。LMCache TRT-LLM 集成正在进行中。

CacheBlend 支持#

压缩支持#

方法

状态

笔记

CacheGen

未验证

注意事项#

没有已知的问题。