Repository navigation
Description
目标
为 #248 设计一次普通用户使用 InferRSI 的端到端试跑。从用户在目标仓库的 Codex 会话发出一句自然语言请求开始,观察 Agent 如何进入 InferRSI、落实验收口径、测基线、提交候选、完成复测,并交付用户可以核查的补丁和报告。首跑衡量的是产品工作流能否走通、用户要做哪些事以及卡在哪里。性能数字作为该次试跑的观测结果。 #248 落地讨论
试跑前准备
由试跑组织者完成以下环境准备,再让用户在 Codex 项目中发送自然语言请求。准备过程、阻塞与人工操作单独记录。
-
拉取固定版本的 vLLM-Omni。 使用独立目录检出上游首次加入 Qwen-Image-2.1-Turbo 支持的 PR #8699 合入
main后的提交f69b1f2b19cece03f6736c7da093ea25de0e24fd,核对 HEAD 和干净的基线源码。基线和候选均从这个提交出发,已有工作区及其预检记录独立保留。git clone https://github.com/vllm-project/vllm-omni.git <PROJECT_DIR> git -C <PROJECT_DIR> checkout --detach f69b1f2b19cece03f6736c7da093ea25de0e24fd git -C <PROJECT_DIR> rev-parse HEAD
-
创建 Codex 项目。 以该检出目录创建 Codex 项目,在该项目中启用 InferRSI Codex 插件并打开会话。记录实际客户端、模型及配置、插件发行版本与启用结果,复跑时使用相同配置。 Codex 插件使用入口
-
配置 Ascend A2 机器使用 skill。 该 Codex 项目必须能发现并调用实际的 A2 远程操作 skill,记录其名称和版本或内容摘要。skill 应覆盖 SSH 登录、向独立目录同步指定源码、进入 Ascend 运行容器、检查与选择已分配的单张 NPU、运行性能和质量检查、取回证据及清理本次进程。SSH 连接、密钥和具体机器配置保留在本地运行环境中。准备时从与 Codex 相同的账户及执行环境验证非交互登录、容器访问和 NPU 探测可用,保留脱敏的预检结果。
-
准备单卡运行条件。 准备同一份官方 Qwen-Image-2.1-Turbo 权重及兼容的 Ascend 运行环境,确认已分配的单张 NPU 健康且空闲,记录设备型号、运行时、依赖和权重身份。正式测量前核对远端实际加载的 vLLM-Omni 源码对应固定基线或本次候选快照。
用户实际输入
准备完成后,用户在上述 Codex 项目中发送:
请用 InferRSI 优化当前 vLLM-Omni 项目的 Qwen-Image-2.1-Turbo,在 Ascend A2 单卡上生成 1280×704 图片,保持出图质量,把单张生图耗时降到尽可能低。请多轮尝试、复测最优方案,并交付补丁和结果。
记录用户实际发送的文字和补充答复。用户无需上传 TASK.md、准备题包、填写自定义 YAML 或手动拼 InferRSI 命令。由 Agent 检查项目与运行条件,发现会影响执行或可比性的缺口时,用自然语言向用户确认。
本节为后续复跑的新版输入示例。已有首跑和续跑的原始请求、补充答复与结果按原记录保留,复跑记录注明使用的输入版本。
观察步骤
| 阶段 | 预期用户体验 | 观察者保留的证据 |
|---|---|---|
| 打开仓库并发送请求 | 用户在 Codex 里能启用 InferRSI,发出上面的请求并看到 Agent 开始检查项目。 | 实际客户端与模型、插件及 A2 skill 版本、启用与预检结果、原始请求、第一次有用反馈及等待时间。 |
| Agent 明确计划 | Agent 自行找到项目已有的模型配置、请求入口和检查,说明准备测的范围、质量口径和预计耗时。若需要用户决定,只问当前缺失、会影响执行的条件。 | Agent 实际调用的 InferRSI 入口、有效知识记录、用户被要求补充的内容,以及需要由用户手动执行或批准的动作。 |
| 基线、候选与反馈 | Agent 准备可运行的性能和质量命令,冻结输入后测基线。在项目源码上进行多轮真实候选迭代,每轮根据质量和完整计时决定采用或放弃,更新累计最佳,并按冻结预算结束。用户可看到当前阶段、失败原因和下一步。 | 固定基线、工作负载和判据,各轮备选措施、选择理由、候选源码摘要、原始计时、取舍及累计最佳变化、阶段时间、失败与恢复。 |
| 结果交付 | 用户在原会话收到可定位的补丁、质量结果、基线与候选原始耗时、复测结论和剩余限制。 | 最终用户回复、各产物引用与可复核性;逐项对照报告主张和独立复测凭证。 |
观察者跟踪实际会话和已有状态记录,允许用户完成通常的确认动作。观察者记下每次阻塞、是否由 Agent 自行恢复、何时需要用户介入。若观察者提供命令、手工修复环境或替 Agent 提交候选,记录为人工接管,并说明走到哪一步。重放或恢复只结算已有尝试,新增执行单独留存。
Agent 和验收方使用的实际入口
以下评测细节由 Agent 在运行计划中确定和冻结,用户通过上面的自然语言输入提出任务。
本次规格选用 1280×704、BF16、原生 8 步、CFG scale=1(true_cfg_scale=1)、batch=1、并发=1、每请求 1 张图、单张 Ascend A2 NPU,与已运行用例的生图条件一致。这里的单张端到端生图耗时采用预热后的离线完整文生图路径:从 Omni.generate 开始,到取得解码图像为止,覆盖文本编码、去噪和 VAE 解码;模型加载、预热和 PNG 落盘单独记录。Agent 在候选搜索前固定提示词、种子、样本、预热策略、质量检查、计时边界与运行预算;“耗时最低”指该预算内实际测过且质量达标的候选中的最优结果。
- 普通项目使用
campaign start / knowledge / round / final。Agent 根据用户请求与当前仓库准备任务说明,在仓库外的准备目录写request.md与protocol/,优先复用项目已有测量和质量脚本。调用campaign start --instructions ... --protocol ...后,Harness 在运行目录留存frozen/TASK.md、frozen/protocol/、基线和计划。若现有项目缺少可靠评测能力,记录 Agent 如何发现缺口及用户看到的下一步。 普通项目流程与命令 - 优化代码写在目标 vLLM-Omni 工作区,由 Agent 根据实际瓶颈选择代码路径。在第一次候选前固定可改源码范围、模型与运行时版本、模型配置、请求或种子、样本、计时边界、质量检查和预算。候选与基线使用同一协议,核对测量进程实际加载的源码与本次快照对应,逐条保存质量结果和未筛选的原始计时。用户可取得实际 Agent 提交的 diff。
- 保留 会话 final 和 Agent 补丁独立复测 两份凭证。会话 final 验证 Harness 选中的源码。独立验收方用干净工作区从固定基线应用封存的 Agent 补丁,核对其 round/attempt、候选快照摘要和重建源码后,用同一协议重跑。若会话 final 选中基线,仍需独立复测 Agent 实际提交的候选。复测前封存选择,优先选已通过质量检查且测量完整的最佳候选,平分取最早一轮。更换为另一份合法补丁也必须在计时前拒绝。 候选身份与独立复测检视
输出校验:逐轮选择与最终效果
验收重点是两张表:每轮优化选择是否有依据、是否按实测正确取舍,以及最终交付版本实际优化了多少。以下要求由 Agent 和验收方执行,用户输入保持上面的简短自然语言。
1. 校验每轮优化选择
“符合预期”以开跑前冻结的约束、选择规则和每轮测前假设为依据。具体优化措施与顺序由 Agent 自主选择,验收方结合当时可得的源码、知识和前轮结果检查其依据。
| 校验点 | 具体核对内容 |
|---|---|
| 测前是否作出选择 | 源码改动和测量前,留存本轮起点(当前累计最佳)、备选措施、所选措施、选择理由、预期效果及风险,并引用所依据的源码、实际检索或读取的知识记录、前轮结果。时间与记录摘要可核查,结果出来后的补写单独标记。 |
| 选择是否合理 | 验收方审查该措施是否适用当前 A2、模型和固定规格,是否针对有依据的瓶颈,为什么优先于其他备选,以及能否在预算内验证。只有“预计更快”等结论性文字,缺少依据时为 INCONCLUSIVE。 |
| 实际是否执行了这项措施 | 核对本轮 diff、候选源码摘要、测量时实际加载的源码与所述措施一致;检查实际生图规格、权重和质量判据符合冻结要求。A/A、重复计时组和受测源码及已声明候选配置均无变化的重复执行不计作新优化候选。 |
| 实测是否支持测前预期 | 列出质量结果、完整计时和相对当前累计最佳的增量;同时列出相对固定原始基线的累计变化。逐项说明预期得到支持、被推翻或证据不足的原因。 |
| 采用或放弃是否正确 | 按搜索前冻结的质量门槛、性能采用规则、波动处理与平分规则,重算应有决策,再与 Agent 决策比较。核对累计最佳是否更新到正确候选,下一轮是否从声明的版本出发。 |
| 后续选择是否利用反馈 | 说明为什么继续、换方向、补充复测或按预算停止。复用被否定的措施时,应说明新增了什么依据或改动。失败与变慢的候选均留存。 |
采用规则、必要的数值门槛、波动处理和停止条件在搜索前写入本 Issue 的执行计划并冻结。每轮的测前假设在该轮源码改动与计时前留存。候选假设被实测推翻后,正确放弃并调整后续方向,仍可通过该轮的选择与取舍校验。
验收方按以下情况检查决策:
| 实际情况 | 应有取舍与校验结论 |
|---|---|
| 质量通过,测量可比,增量满足冻结的采用规则 | 采用并更新累计最佳;核对下一轮起点。 |
| 质量不达标,或按冻结规则确认比当前最佳更慢 | 放弃,保留已有最佳;保留质量失败或较慢数据。错误采用此类候选,决策校验为 FAIL。 |
| 差异接近测量波动、样本不足或环境资格缺失 | 收益判断为 INCONCLUSIVE,说明继续复测或保留已有最佳的安排。若冻结规则允许保留观察候选,须明确其待验证状态。 |
| 候选与基线的受测源码和已声明配置均相同,或实际加载了另一份源码 | 该次不能作为所述措施的有效实验;已有完整证据确认违反冻结要求时为 FAIL,身份或记录不足时为 INCONCLUSIVE。 |
每轮交付一行记录,能从本行打开测前计划、diff、实际结果与原始计时:
| 轮次与起点 | 本轮措施、备选及选择理由 | 测前预期 | 实测耗时与质量 | 本轮增量 / 累计变化 | 采用、放弃或复测的依据 | 更新后的累计最佳 | 决策校验结论与证据 |
|---|---|---|---|---|---|---|---|
<round / starting_candidate> |
<selected / alternatives / why> |
<expected / risks> |
<latency / quality> |
<vs_previous_best / vs_original_baseline> |
<decision / reason / next_step> |
<best_candidate> |
<PASS / FAIL / INCONCLUSIVE / evidence> |
字段完整性、源码身份、计时重算和决策与规则的一致性可自动检查;选择理由的适用性由验收方结合源码和已有证据审查,并留下依据。
2. 校验最终优化结果
| 最终输出 | 具体验什么 |
|---|---|
| 最终交付的是哪个版本 | 从固定基线应用封存补丁,核对重建源码摘要与所选候选一致;按冻结规则核对它在基线和全部有效候选中的选择结果,排除质量失败和证据不足的候选。 |
| 最终耗时是多少 | 独立验收方在同一冻结协议下重跑固定基线与最终补丁,保留全部样本,按同一统计口径重算基线耗时 B、最终耗时 F,单位统一为 ms。会话 final 和独立复测分别列出。 |
| 实际优化了多少 | 报告耗时减少 B - F ms、耗时下降比例 100 × (B - F) / B%;原始值和计算结果对应同一对照,不能混用不同轮次中挑出的最低数值。 |
| 出图质量是否保持 | 对冻结的全部提示词和种子运行质量检查,列出通过数/总数与失败项,保留基线图、候选图及比较结果。本次用例沿用 6 组固定输入、种子 42–47 的 RGBA 逐像素一致检查,在候选搜索前冻结具体提示词和检查程序。 |
| 最优与收益结论是否成立 | 区分本轮增量与累计收益,列出重复测量波动和剩余限制。最优范围为本次预算内的实测候选;未找到可靠改进时明确报告并保留基线。缺少独立复测、环境资格或必要证据,相关结论为 INCONCLUSIVE。 |
最终用户回复至少包含:基线 <B> ms → 最终 <F> ms,减少 <B-F> ms / <gain>%,质量 <passed>/<total>,选中候选 <candidate_id>,并链接逐轮决策表、两份复测凭证和补丁。另列从请求到最终复测、到实际交付的总耗时,以及所需用户介入。
性能结论限定于本次固定输入、Ascend A2 单卡和已冻结的完整离线生图路径。每轮收益、累计收益与流程完成情况分别报告;脚本执行成功、源码摘要相同或 Agent 叙述均不能单独替代收益验证。
3. 支撑上述校验的交付物
- 补丁能从固定基线应用,基线、各轮候选和最终复测的身份可追溯。
- 质量原图、全部原始计时、运行环境与源码检查记录完整,Dashboard 能定位到同一轮证据;失败、环境资格缺口和叙述冲突保持可见。
- 输入、质量判据和统计规则在搜索前冻结,明确记录环境变化、未完成项和用户介入;既有试跑证据按当时冻结协议保留。
交付与判定
- 留存经脱敏的用户请求、实际投递上下文、可见问答、操作和等待时间。列清用户亲自完成的步骤、首次阻塞、恢复和人工接管。
- 完成逐轮优化选择校验表,核对测前依据、实际改动、实测反馈、采用或放弃及累计最佳,逐轮给出 PASS / FAIL / INCONCLUSIVE。
- 完成最终优化结果对照,列明独立复测的基线与最终耗时、下降比例、质量结果、选中候选和验证范围。
- 留存基线与协议身份、真实 Agent 补丁、逐轮记录、两份复测凭证、质量检查和原始计时,给出用户从回复打开这些证据的路径。
- 按实际证据判定。用户走完整条流程、逐轮选择与最终结果校验均通过,并拿到可复核交付,流程验收为
PASS。性能提升与否按冻结的性能门槛单列,保留无收益和负收益的实际结果。明确违反冻结要求或正常结束却没有候选补丁,记录FAIL;模型、设备或环境故障导致证据缺失,记录INCONCLUSIVE。同时保留最后一个走通的用户步骤、阻塞原因和所需的具体改进。性能提升幅度由测量报告记录。 失败与边界检视 - 开跑前完成上述固定 commit 检出、Codex 项目创建、InferRSI 插件和 A2 skill 配置与可用性预检,核对单卡资源及验收人。复跑计划记录实际环境、时限及独立复测安排。
Activity
Dong1017 commentedon Nov 17, 2026
评估: 这是一个设计类 task。方案整体方向合理,"任务输入 → Agent 提交 → 封存补丁 → 独立复测"的闭环,以及把性能提升幅度当作观测结果而非验收门槛,都避开了 Goodhart 风险。目前缺的是几个可判定的细节和几个责任人,补上后才能让维护者冻结方案。下面基于 issue 正文给出判断。我没有打开正文引用的 #248、#337、#419 和两份 docs,这些链接里的内容没有核对。
做得好的地方
INCONCLUSIVE"。缺口与风险(建议在设计评审前补齐)
INCONCLUSIVE与失败的边界不够可操作。 模型调用超时、NPU 被抢占、Agent 自己把环境搞坏,这几种怎么归类?建议列一张"事件 → 状态"表,并写明INCONCLUSIVE后是否允许重跑、最多几次、重跑是否要新开 RunSpec。否则会出现事后挑选结果的空间。round,"选定理由"由谁定?是 Agent 自选,还是按预先规则(如最后一轮或反馈最优)?建议规定"封存候选"的选择必须在复测之前完成,并写入证据包。candidate.py,"受保护文件"校验是怎么做的(哈希清单、只读挂载,还是复测时 diff 检查)?补丁里david6666666 commentedon Nov 17, 2026
Could the frozen plan require two distinct receipts when the baseline wins? The current
session finalflow retests the Harness-selected source, so a passing baseline final does not establish that the Agent patch was replayed. Keep that receipt, and have the independent full-case replay bind the session round/attempt and its retained candidate digest to the source digest after patch application. Report the evaluated source, verdict and raw timings separately for each receipt. A different, otherwise valid patch should fail the binding check before timing.david6666666 commentedon Nov 17, 2026
Could the proposed replay validator check the recorded cross-arm AB/BA sequence, not just the 66-call total and each arm's sample list? I tested the current task assessor with a synthetic full receipt: reversing the first baseline/candidate measurement pair left the invocation multiset and each arm's times unchanged, and still returned PASS. Please add that swapped-pair negative control to the offline validator, so a complete-looking receipt cannot establish the frozen order if the ordering evidence disagrees.
[-]task: 设计 qwen21-denoise-npu 的首个 Codex 端到端用例[/-][+]task: 设计首个 Codex 用户使用 InferRSI 的端到端用例[/+]david6666666 commentedon Nov 17, 2026
For the revised ordinary-project pilot, could we define what qualifies as an unassisted workflow PASS before running it? User answers and normal approvals are part of the intended workflow. If an observer supplies the measurement command, fixes the environment, or submits the patch, the evidence may still be valid, but the product outcome should be recorded as assisted completion with the first blocked step. Keep that workflow outcome separate from the candidate's quality and timing verdict. My earlier 66-call check was specific to the packaged task and isn't an acceptance requirement for this revised pilot.
david6666666 commentedon Nov 17, 2026
Could the Ascend preflight record the effective Turbo scheduler and denoising step count, not just the requested flags? vllm-project/vllm-omni#8699 shows a GB200 run that requests 50 steps but actually uses the checkpoint’s eight-step
sample_sigmasgrid. Please confirm the effective grid on the pinned Ascend baseline and retain it in the candidate and independent replay receipts. If the baseline cannot run the intended grid, report an environment gap; if only the candidate changes the grid, don’t compare those latencies under the frozen protocol.david6666666 commentedon Nov 18, 2026
The revised plan refers to an earlier first run and continuation, while #316 still lists no first-run result for this task. Could we link a short run index here and from #316? For each attempt, record the input version, frozen protocol/run ID, last completed stage, verdict (or not assessed), and evidence link. Please track the revised A2 rerun separately so the earlier attempts aren’t mistaken for validation of the new prompt.
david6666666 commentedon Nov 18, 2026
Could we add a baseline-vs-baseline check for the six seeded RGBA cases before freezing the quality reference? Run the baseline twice across the same clean process or container restart used for independent replay, keeping the inputs and runtime pinned. If any pixels differ, mark the quality reference unqualified and the result INCONCLUSIVE rather than counting it against a candidate. The exact-pixel threshold can stay unchanged.