可观察性

• 通过 vLLM API 的指标
  • 快速入门指南
  • 可用指标
• 内部 API 服务器指标
  • 概述
  • 快速入门指南
  • 端口配置
  • 高级用法
• 指标参考
  • 可用指标
• 块统计
  • 概述
  • 记录策略
  • 快速入门指南
  • 配置选项
  • 高级用法
  • 最佳实践
  • 故障排除
• 健康监控器
  • 概述
  • 架构
  • 自动发现
  • 配置
  • 它是如何工作的
  • 内置健康检查
  • Prometheus 指标
  • 错误代码
  • 扩展健康监控器
• 周期性线程监控 API
  • 概述
  • API 端点
  • 线程级别
  • 不可恢复异常处理
  • 使用示例
• LMCache 前端
  • 功能
  • 安装
  • 快速开始
  • 配置
  • 代理请求
  • 贡献
  • 更多信息