跳到主要内容
版本：v0.1(draft)

VSR 决策追踪 Header

本文档描述了 VSR（Vector Semantic Router，向量语义路由）决策追踪 Header，这些 Header 会自动添加到成功的响应中，用于调试和监控目的。

概述​

语义路由会自动添加响应 Header 以追踪 VSR 决策信息。这些 Header 帮助开发者和运维团队了解请求是如何被处理和路由的。

Header 仅在以下情况下添加：

  1. 请求成功（HTTP 状态码 200-299）
  2. 请求未命中缓存
  3. VSR 在请求处理期间做出了路由决策

添加的 Header​

x-vsr-selected-category​

描述：VSR 在分类期间选择的类别。

示例值：

  • math
  • business
  • biology
  • computer_science

添加时机：当 VSR 成功将请求分类到某个类别时。

x-vsr-selected-reasoning​

描述：是否确定对此请求使用推理模式。

值：

  • on - 启用了推理模式
  • off - 禁用了推理模式

添加时机：当 VSR 做出推理模式决策时（适用于自动和显式模型选择）。

x-vsr-selected-model​

描述：VSR 选择用于处理请求的模型。

示例值：

  • deepseek-v31
  • phi4
  • gpt-4

添加时机：当 VSR 选择模型时（通过自动路由或显式模型指定）。

用例​

调试​

这些 Header 帮助开发者了解：

  • VSR 将其请求分类到哪个类别
  • 是否应用了推理模式
  • 最终选择了哪个模型

监控​

运维团队可以使用这些 Header：

  • 追踪跨请求的类别分布
  • 监控推理模式使用模式
  • 分析模型选择模式

分析​

产品团队可以分析：

  • 请求分类准确性
  • 推理模式有效性
  • 按类别划分的模型性能

响应示例​

HTTP/1.1 200 OK
Content-Type: application/json
x-vsr-selected-category: math
x-vsr-selected-reasoning: on
x-vsr-selected-model: deepseek-v31

{
  "id": "chatcmpl-123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "deepseek-v31",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "x^2 + 3x + 1 的导数是 2x + 3。"
      },
      "finish_reason": "stop"
    }
  ]
}

不添加 Header 的情况​

以下情况不添加 Header：

  1. 缓存命中：当响应来自缓存时，不进行 VSR 处理
  2. 错误响应：当上游返回 4xx 或 5xx 状态码时
  3. 缺少 VSR 信息：当 VSR 决策信息不可用时（正常操作中不应发生）