场景
ZCode 配置自定义 OpenAI 兼容后端(vLLM 0.30.0 + Qwen3.8-27B-FP8,2x RTX 4090),base_url 指向自建服务。
现象
会话连接失败,客户端只显示"重联中"无限重试,不展示任何后端错误信息,无法自行定位。抓包后发现后端每次返回 500:
chat template error: unknown function: raise_exception(完整分析已报 vLLM 上游:vllm-project/vllm#59009)
根因(三方叠加,ZCode 是触发方之一)
ZCode 请求携带 reasoning_effort: "high"(OpenAI/Anthropic 通用档位);Qwen3 系列模型模板白名单为 xhigh/medium/low,参数不匹配走进模板 raise_exception 分支;vLLM 0.30 Rust 前端渲染器未实现该函数,参数校验问题被放大为 500。后端模板修复(raise 中和+档位映射)后一切正常。
建议
- effort 档位可配置/可映射:自定义后端场景允许用户配置 reasoning_effort 透传值或映射表(high→xhigh 等),或提供"不发送该参数"的开关
- 展示后端错误详情:后端 4xx/5xx 时把 error message 呈现给用户(哪怕是折叠的诊断信息)——本次排障最终靠在服务端架设抓包代理才拿到一句关键报错,客户端侧全程黑盒
- 可选:对 500 连续重试 N 次后停止并提示检查后端
环境
ZCode Desktop(Windows)+ 自定义 OpenAI 兼容后端 vLLM 0.30.0;服务端修复详情与复现命令见 vllm-project/vllm#59009
场景
ZCode 配置自定义 OpenAI 兼容后端(vLLM 0.30.0 + Qwen3.8-27B-FP8,2x RTX 4090),base_url 指向自建服务。
现象
会话连接失败,客户端只显示"重联中"无限重试,不展示任何后端错误信息,无法自行定位。抓包后发现后端每次返回 500:
chat template error: unknown function: raise_exception(完整分析已报 vLLM 上游:vllm-project/vllm#59009)根因(三方叠加,ZCode 是触发方之一)
ZCode 请求携带
reasoning_effort: "high"(OpenAI/Anthropic 通用档位);Qwen3 系列模型模板白名单为 xhigh/medium/low,参数不匹配走进模板 raise_exception 分支;vLLM 0.30 Rust 前端渲染器未实现该函数,参数校验问题被放大为 500。后端模板修复(raise 中和+档位映射)后一切正常。建议
环境
ZCode Desktop(Windows)+ 自定义 OpenAI 兼容后端 vLLM 0.30.0;服务端修复详情与复现命令见 vllm-project/vllm#59009