Skip to content

Proposal: add truthfulness gate and delivery-verdict layer to Darwin Skill #7

Description

@laibeids-sys

背景

Darwin Skill 目前已经有很强的评分与优化循环:rubric、test prompts、independent judge、git ratchet、keep/revert、人审 checkpoint。

我这里有一个本地使用中的 delivery-review skill,主要解决另一个问题:不是“怎么把 skill 分数提高”,而是“评审结论是否真实、可追溯、可用于决策”。

我想建议把其中一部分能力并入 Darwin Skill,作为评分和优化后的 truthfulness / delivery-verdict layer。

建议合入的能力

1. Truthfulness Gate

每次 Darwin 输出评审或优化结果时,强制区分:

  • read: 实际读过哪些文件
  • written: 实际修改了哪些文件
  • installed: 是否真的安装
  • run: 是否真的运行过
  • verified: 哪些检查已经验证
  • recommended: 哪些只是建议
  • not covered: 哪些范围没有覆盖

这样可以避免把“建议优化”“dry-run 推演”“只读检查”说成“已完成 / 已验证”。

2. Evidence-bound Findings

每个 finding、score、keep/revert 决策都需要绑定证据,例如:

  • file path
  • diff
  • test prompt
  • judge output
  • command result
  • visible artifact

没有证据的结论应该降级为 hypothesis 或 recommendation。

3. Residual Risk

除了分数,还建议固定输出 residual risk,例如:

  • only dry-run, no full test
  • judge agreement not verified
  • no baseline comparison
  • upstream claim not reproduced
  • install not tested
  • runtime compatibility not checked

4. Verdict Layer

分数之外增加最终决策:

  • use as-is
  • use after minor fix
  • optimize before install
  • blocked

这样 Darwin 的结果更适合实际安装、合并、发布决策。

5. Similar Skill Conflict Check

在评审一个 skill 时,额外检查它是否:

  • duplicates an existing skill
  • conflicts with an existing skill
  • should be merged into another skill
  • should replace an older skill

这可以避免只把单个 skill 优化得更漂亮,却忽略生态内重复和触发冲突。

建议输出格式

Score
- Overall score and key dimension scores.

Findings
- Evidence-bound issues.

Optimizations Applied
- Actual changes made, if any.

Verified
- Checks actually run and passed.

Not Verified
- Checks not run or unavailable.

Residual Risk
- Remaining uncertainty.

Verdict
- use as-is / use after minor fix / optimize before install / blocked.

和 Darwin Skill 的关系

这不是要替代 Darwin 的 9 维 rubric,而是补一个决策层:

  • Darwin rubric answers: "How good is this skill?"
  • Truthfulness gate answers: "What did we actually verify?"
  • Verdict answers: "Can we use, install, merge, or publish it now?"

许可证问题

我注意到当前仓库暂时没有 LICENSE 文件,并且已有 issue 在讨论 MIT License。

如果你觉得这个方向有价值,我可以在许可证边界明确后整理一个 PR,把上述规则以较轻量的方式并入 Darwin Skill。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions