Skip to content

[Bug] 自定义 OpenAI 兼容后端(vLLM+Qwen3)时 reasoning_effort:"high" 触发后端 500,客户端只显示重联、不展示错误详情 #852

Description

@xzwgit

场景

ZCode 配置自定义 OpenAI 兼容后端(vLLM 0.30.0 + Qwen3.8-27B-FP8,2x RTX 4090),base_url 指向自建服务。

现象

会话连接失败,客户端只显示"重联中"无限重试,不展示任何后端错误信息,无法自行定位。抓包后发现后端每次返回 500:
chat template error: unknown function: raise_exception(完整分析已报 vLLM 上游:vllm-project/vllm#59009)

根因(三方叠加,ZCode 是触发方之一)

ZCode 请求携带 reasoning_effort: "high"(OpenAI/Anthropic 通用档位);Qwen3 系列模型模板白名单为 xhigh/medium/low,参数不匹配走进模板 raise_exception 分支;vLLM 0.30 Rust 前端渲染器未实现该函数,参数校验问题被放大为 500。后端模板修复(raise 中和+档位映射)后一切正常。

建议

  1. effort 档位可配置/可映射:自定义后端场景允许用户配置 reasoning_effort 透传值或映射表(high→xhigh 等),或提供"不发送该参数"的开关
  2. 展示后端错误详情:后端 4xx/5xx 时把 error message 呈现给用户(哪怕是折叠的诊断信息)——本次排障最终靠在服务端架设抓包代理才拿到一句关键报错,客户端侧全程黑盒
  3. 可选:对 500 连续重试 N 次后停止并提示检查后端

环境

ZCode Desktop(Windows)+ 自定义 OpenAI 兼容后端 vLLM 0.30.0;服务端修复详情与复现命令见 vllm-project/vllm#59009

Activity

  1. github-actions commented on Sep 28, 2026

    @github-actions

    👋 感谢你的反馈,我们已经收到。

    • 维护者看到后会尽快回复你。
    • 状态保持为 status: 待评估,你可以随时补充信息。
    • 信息不全时我们会打上 needs: 更多信息 标签并 @ 你。

    👋 Thanks — we've received your issue.

    • A maintainer will get back to you as soon as we can.
    • Status stays at status: 待评估 (Triage); feel free to add context.
    • If we need more details, we'll add needs: 更多信息 and ping you.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions