レビュー系 skill 全体に敵対的検証を追加 - #100
Merged
Merged
Conversation
role-reviewer と code-review の説明、レビュー手順、観点リファレンスに敵対的検証を追加した。 あわせて evals に発火ケースを追加し、skill-library の説明を同期した。 検証: jq で evals.json を確認、Ruby YAML パーサで SKILL.md frontmatter を確認、git diff --staged --check を実行。
敵対的検証を独立した観点やレビュー手順として追加する形から、role-reviewer と code-review の基本姿勢へ移した。 あわせて points の独立観点を削除し、evals と skill-library の表現を同期した。 検証: jq で evals.json を確認、Ruby YAML パーサで SKILL.md frontmatter を確認、git diff --check / --staged --check を実行。
role-reviewer と code-review の description、基本姿勢、eval、skill-library に「敵対的検証を行う」という表現を追加した。 独立観点には戻さず、基本姿勢として明示している。 検証: jq で evals.json を確認、Ruby YAML パーサで SKILL.md frontmatter を確認、git diff --check / --staged --check を実行。
code-next-developer-review と code-quality-review にも、実装者の前提を鵜呑みにせず敵対的検証を行う基本姿勢を追加した。 あわせて evals、agents/openai.yaml、skill-library の説明を同期した。 検証: jq で evals.json を確認、Ruby YAML パーサで SKILL.md と openai.yaml を確認、git diff --check / --staged --check を実行。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
レビュー系 skill の基本姿勢に敵対的検証を追加
Summary
レビューを主用途にする internal skill 全体に、実装者の前提や正常系中心の説明を鵜呑みにせず、見落とされた失敗条件が残っている前提で敵対的検証を行う姿勢を追加しました。
主な変更点:
role-reviewerの description と基本姿勢に、敵対的検証を行うことを明示code-reviewに基本姿勢セクションを追加し、レビューの前提として敵対的検証を行うことを明記code-next-developer-reviewに、後続開発で前提が崩れる状況を敵対的検証する姿勢を追加code-quality-reviewに、将来の変更・テスト・運用で品質問題が表面化する条件を敵対的検証する姿勢を追加agents/openai.yaml、docs/skill-library.mdの説明を同期やったこと
codex/skills/internal/role-reviewer/SKILL.mdの基本姿勢へ、実装者の説明やテスト結果を鵜呑みにせず敵対的検証を行う前提を追加codex/skills/internal/code-review/SKILL.mdに基本姿勢を追加し、レビュー手順から独立した敵対的検証ステップを削除codex/skills/internal/code-next-developer-review/SKILL.mdに、次の開発者が詰まる条件を敵対的検証する前提を追加codex/skills/internal/code-quality-review/SKILL.mdに、品質問題が表面化する条件を敵対的検証する基本姿勢を追加code-next-developer-review/code-quality-reviewのagents/openai.yamlを skill 本体に合わせて更新evals.jsonに敵対的検証を行う発火ケースを追加動作確認
jq . codex/skills/internal/role-reviewer/evals/evals.jsonjq . codex/skills/internal/code-review/evals/evals.jsonjq . codex/skills/internal/code-next-developer-review/evals/evals.jsonjq . codex/skills/internal/code-quality-review/evals/evals.jsonSKILL.mdfrontmatter 基本検証agents/openai.yaml基本検証git diff --checkgit diff --staged --checkレビュー & 動作確認 チェックリスト
role-reviewer/code-review/code-next-developer-review/code-quality-reviewに反映されているか敵対的検証を行うという表現が各 review skill に明確に入っているか推奨テスト計画:
evals.jsonの prompt / expected_output が、敵対的検証を行うレビュー姿勢を期待しているか確認するagents/openai.yamlとdocs/skill-library.mdの説明が skill 本体の変更内容と一致しているか確認するその他気になることや相談ごと
quick_validate.pyはスクリプトに実行権限がなく、Python 経由では PyYAML が未インストールだったため実行できませんでした。代替として JSON 構文確認と Ruby 標準 YAML パーサによる frontmatter / openai.yaml 基本検証を実施しています。