docs(research): define episode evaluation and evidence-based progress reading

[loopx-agent]

Flat native scores do not explain whether later work tested a different mechanism, reduced a decision-relevant uncertainty, or used an earlier result. This proposal adds research-episode analysis to the existing benchmark measurement RFC and connects it to a bilingual progress-reading design: one selection links the original outcome window, branch, versioned evidence, check and observed adoption.

The method separates native outcomes, information, discrimination, actual adoption, repetition and costs/coverage. It specifies denominators and missing-data bounds, baseline observability, prospective late/common windows, continuation costs and independent calibration. Existing product metrics keep their definitions; the stricter proposed adoption measure is distinguished from communication/reuse signals. Roadmap S5/S11, Explore and workspace owners link to the same method and synthetic example, preserving existing scoring, evidence and presentation authority.

Validation:

• RFC generated status index check and docs-governance smoke passed.
• All local links in the 14 changed/new documents checked: 522 targets and 87 Markdown anchors; fenced blocks balanced.
• Source-checkout public-boundary scan: 0 errors, 0 warnings. Staged diff and DCO checked.
• Manual English/Chinese semantic and evidence-boundary review completed. The existing measurement owner centralizes the method; no new graph, ledger or runtime vocabulary is introduced.

This is a design proposal. Mermaid rendering, two independent scientific coders, held-out model-judge calibration and the packaged frontend/real-backend reading journey are not qualified here. The synthetic diagram is illustrative. Design validation establishes neither installed behavior nor causal benefit.

[loopx-agent]

Reviewer: model_agent; model=gpt-6.1-sol; provider=OpenAI; runtime_reported; reasoning_effort=max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval). Exact head 9e6b53f320411237b0f4a3249d72ceefb1bb2187；独立核对的 merge-base 为 a99cb07addfc163fda9435c6455cc9462b657855。

动机

需要判断长任务是否有效推进、是否值得继续的研究者，以及阅读既有 Goal 和团队进度的所有者。

原规范已有原生结果、成本与四臂对照，但没有完整的 episode 读数口径；本提案补齐分母、未知、重叠时间和实际采用的区分，并给出打开已有 Goal 后先看变化、再看分支、按需查证据的设计。

交付是可独立评审的研究读数与阅读设计：原生结果不被信息增益补偿，实际采用必须有独立证据，缺失与历史版本不显示为零或当前通过。

本 PR 只有文档，不实现 sidecar、judge、progress 页面或新状态，不执行实验，不证明产品可用性、科学显著性、实际采用或更大路线图完成。

改动思路

既有 benchmark-toolkit 保持实验与证据 owner，既有 Goal/团队投影保持产品 owner；episode 仅为只读分析单元，避免新建一套运行图、评分器或 closure。 14 个 Markdown 文件统一研究口径、英文/中文阅读设计和既有 RFC 索引；无运行代码、配置开关、调度规则或权限变化。 先固定实验问题、分段与分母，再观察结果，才能避免按结果挑选“有效回合”。产品侧沿用已经打开的 Goal、团队分支和版本证据，把全局变化、分支解释与必要证据放在一个阅读层级中；没有新增运行图、评分器或自动执行权限。

具体改动

规格依据是改动前的 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md，spec_revision a99cb07addfc163fda9435c6455cc9462b657855，重点读了原 claim、四臂对照、测量、证据访问与里程碑条款。以下判断针对本次文档结果，不用作者新写的规范反过来证明运行实现。

• native-outcome implemented：原生任务结果、冻结 scoring/task/budget 与 C0–C4 资格保留。信息与采用的向量读数不能抵消 native failure，挑选例子不能建立因果提升。
• fair-evidence implemented：episode 可跨 Turn；分段在 arm/outcome 解盲前固定，未完成、恢复和未分配成本仍保留。已知分母的缺失数据区间明确不是置信区间；分母未知不显示比例。实际采用须有后续使用证据，引用、叙述、剪枝或没有采用机会都不能直接算采用。
• evaluator-boundary implemented：保留原 §6.5 的反馈模式，区别允许的 native feedback 与受保护 evaluator 材料。后者必须同时满足 solver 已结束且 scoring 已完成，只能作只读分析，不能回流 solver；没有悄悄禁止原任务允许的反馈，也没有放松隐藏证据边界。
• staged-reading implemented：新中英设计明确为 proposal，单一焦点曲线、小分支与上下文证据按需展开，拒绝卡片墙和虚假统一百分比。缺失、受限、版本变化、分歧、刷新返回及无事件都有可读出口；窄屏、键盘和 reduced motion 是后续验收义务。

两语言完整对照后，原生结果/信息/实际采用、缺失与版本、权限以及阶段声明一致。合成 Mermaid 只解释负证据如何剪枝、后续校验如何关联当前版本，没有把虚线缺边表示为采用。RFC 索引提到的部分团队 inspection 已在基线的既有实现和 #4828 记录中存在；当前文档没有把新 progress 设计宣称为已发货，也没有让 L1/R2 等待本研究。

对主干的风险

独立运行 RFC status index 检查、docs governance smoke、diff whitespace 检查均通过。额外逐一解析 14 个改动文档的 525 个本地目标（包括同页引用）和 88 个标题锚点，无失效链接，围栏闭合；候选公开文件的本机路径、私有状态路径和明显凭据扫描无命中，单提交具备 DCO。数量与作者范围可能不同，以上只报告本次独立检查口径。

最强反例不是文档能否生成，而是 native result 变差时用信息增益粉饰进展。本次独立核对了该反例、未知 N、已知 N 的未知子集、没有采用机会、并行 wall-time 区间、晚到反馈与不匹配 baseline：条款均保留保守结论。历史产物校验不能把改变后的字节显示为当前通过；证据受限不能推断无进展，也不授予新访问权。

这些检查不证明独立标注员一致性、judge 校准、实验效果或真实用户理解；未渲染 Mermaid，也没有运行打包 UI/backend、模型或 benchmark。原文已把这些列为后续实现与科学资格，因此这里不是用 skipped test 代替本次必须的运行验收。未查询、轮询、等待或触发 hosted CI。

我的整体评价

APPROVE，限于本次研究与阅读设计阶段。长期推进维度 improved：固定分段、分母、反例和继续观察条件，使负证据与未完成成本可见；用户体验维度 improved：提出从既有 Goal 一次进入、上下文查证和返回的具体短旅程，尚不认证实现可用性。既有 benchmark-toolkit 保持实验与证据 owner，既有 Goal/团队投影保持产品 owner；episode 仅为只读分析单元，避免新建一套运行图、评分器或 closure。 14 个 Markdown 文件统一研究口径、英文/中文阅读设计和既有 RFC 索引；无运行代码、配置开关、调度规则或权限变化。

有界前瞻整理已体现在复用 sidecar 与原产品投影，未发现需要在本 PR 添加代码抽象的相邻边界。下一实现应证明真实入口、失败恢复和阅读理解；科学资格仍依原研究协议独立验证。本评审不授予合并权限，也不结算任何父目标。

English verdict: APPROVE — exact head 9e6b53f320411237b0f4a3249d72ceefb1bb2187. This is a coherent documentation stage: preserve native outcomes, frozen comparisons and protected evaluator access; distinguish information, actual adoption, unknown coverage and versioned evidence; reuse existing research and Goal/team owners. Independent old/new and bilingual counterexamples, RFC/docs governance, 525 local targets and 88 anchors pass. Runtime/UI implementation, rendering, calibration and scientific effects remain unproven; no hosted CI or merge authority is implied.