Repository navigation
fix(menu-tier): gate create/update on shared surface, cancel on mutation - #1016
Conversation
Closes the two reproducible vocabulary/classification gaps codex round-1 found on PR #966, and records the third as deliberately open. Gap 1 — `create` / `update` / `생성` / `갱신` were in no vocabulary set, so a menu whose every option mutates ("Create the customer record" / "Update the customer record") was silent with no high-blast target present. They now enter a conditional Tier 1c: a mutation signal only when the option also names a shared surface (SHARED_SURFACE_NOUNS) and not a local authoring artifact (LOCAL_ARTIFACT_NOUNS). The unconditional widening the issue sketched was built and rejected on measurement: it fired on "Create a new test file" / "Update the existing test", "Create a README section" / "Update the changelog", "문서 생성" / "문서 갱신", and "Create a shorter title" / "Update the wording". Since PR #966 rev 5 the default path is emit_decision("ask", …), so each of those is a human confirmation prompt, not a log line — which also corrects the now-stale "a false fire costs one sentence" rationale in spec.md. Six nouns (`schema`, `index`, `namespace`, `migration`, `dag`, `policy`) were drafted into the gate and removed after they fired on ordinary authoring menus. Gap 2 — "Cancel the prod deployment" was misclassified as the do-nothing tier, so cancel-vs-proceed on prod went silent although both options change prod. Not a vocabulary hole: the option already classified as mutating via `prod`, but _question_triggers strips abandonment at step 1, before step 4 asks the mutation question, so the survivor fell below the two-candidate floor. `cancel` / `취소` move to CONDITIONAL_ABANDON_*, abandoning only when the option carries no other mutation signal. A bare "Cancel" is still the do-nothing tier. That rule has its own reverse false fire, measured: a no-go naming its object ("Cancel — do not deploy to prod") would be promoted to a candidate. An explicit negation overrides it, read only inside the Tier 0b branch — a global `do not` was tried and rejected because it silenced "Deploy to prod and notify" / "Deploy to prod but do not notify", where the negation attaches to a rider. Blast radius of the whole gap-2 change is therefore one word: no option without `cancel` / `취소` changes classification. Gap 3 — the issue's task-1 gate asked whether anything remains after anchor row 4 closed the compound-option TARGET axis. It does: the VERB axis. "Dry-run then delete the customer table" / "Delete the customer table" is silent in both modes, while the byte-identical payload with `prod` inserted fires (strict rc=2). The verb-axis discriminator was built and rejected — it closes all four residual cases and simultaneously fires on "Deploy now" / "Dry-run the deploy", "Merge now" / "Simulate the merge", "Send the announcement" / "Report-only pass on the send", and "지금 배포" / "배포 드라이런". A dry run necessarily names the verb it simulates, so those are the same shape as the residual and no lexical rule separates them; firing an `ask` at an author who already added the safe tier inverts the hook's purpose. Documented in spec.md with its reproduction and pinned in fixtures — the residual as `pass`, the four counter-cases as must-stay-silent — so a future round fails there instead of shipping the trade blind. Evidence. Pre-fix: both repros silent, both same-shape positive controls (delete/truncate; roll-back/proceed) fire. Post-fix: repros fire EN and KO, advisory and strict, controls unchanged. A-B against a `git show HEAD:` copy over 27 cases flips exactly the four issue repros, all silent→FIRE; nothing loud went silent. All 76 pre-existing fixtures pass unchanged (76→110). The new positives fail against the pre-fix impl (103/7) and pass against the patched one, so they pin the fix rather than the harness. Known and shipping unfixed, recorded in spec.md: "Create a comparison table in the README" / "Update the existing table" now fires — the veto is per option and the second names no artifact. Both noun sets are my enumeration, not a measured corpus; a surface I failed to list is a silent miss. Not-tested: runtime firing inside Claude Code; Korean coverage is synthetic; shellcheck unavailable in this environment. Confidence: medium Refs #974 (gaps 1 and 2; gap 3 documented as open) Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_014Q4o2BtBPpsrr19he6qVpc
|
Warning Review limit reached
Next review available in: 59 minutes You've used all free OSS reviews for now. Wait for the free limit to reset to keep reviewing this public repository. How can I continue?After more reviews become available, a review can be triggered using the To avoid repeated limits, reduce automatic review volume by pausing incremental auto-reviews earlier, using label-based review opt-in, excluding WIP or generated PR titles, or requesting reviews manually when the PR is ready. If your team needs uninterrupted high-volume reviews, an organization admin can enable usage-based reviews. How do review limits work?CodeRabbit enforces per-developer PR review limits for each organization. Most developers receive the normal plan review availability. For paid Pro and Pro+ PR reviews, CodeRabbit uses adaptive limits for sustained high-volume activity. When a developer's recent PR review activity reaches the 95th percentile or higher among CodeRabbit users, additional reviews become available more gradually as earlier reviews age out of the rolling window. Please refer docs for additional details. Review details⚙️ Run configurationConfiguration used: defaults Review profile: CHILL Plan: Pro Plus Run ID: 📒 Files selected for processing (3)
Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out. Comment |
A wrapped sentence left an issue reference at column 0, and markdownlint reads that shape as a heading (MD018). Nothing rendered wrong — CommonMark requires a space after the hash — but the rule is not among the four the repo disables, and reviewdog's suggested fix would have inserted that space and turned prose into a real heading. Moving the previous line's last word down silences the rule without touching a word of the text. Confidence: high Session-Id: 9e3b4abb-9995-41aa-8c70-4c2be1bb61ba
Verification —
|
| # | Claim | Result |
|---|---|---|
| 1 | 브랜치의 픽스처 스위트가 전부 통과한다 (PASS=110 FAIL=0) | PASS(live) |
| 2 | Gap 1 의 조건부 Tier 1c 가 양방향으로 동작한다 — 공유 표면에서 발화, 로컬 저작물에서 침묵 | PASS(live) |
| 3 | Gap 2 의 Tier 0b 가 양방향으로 동작한다 — 목적어를 명시한 cancel 만 발화 |
PASS(live) |
| 4 | Gap 3 은 고쳐지지 않고 기록 됐다 — 잔여가 실재하고 픽스처가 현재 동작을 고정한다 | PASS(live) |
| 5 | 기존 동작에 회귀가 없다 — main 의 픽스처 전량이 이 브랜치 impl 에서 통과한다 |
PASS(live) |
Unverified — (a) 실제 피해 관측 0건, (b) 오발화 증가량은 제가 저작한 픽스처 범위 안에서만 측정됨, (c) Gap 3 잔여는 열린 채 남음
(a) 이 훅은 #966 머지와 함께 처음 배포되므로 관측 이력 자체가 없습니다. 여기서 확인한 것은 전부 코드 경로 재현이고, 실사용 트래픽에서 이 두 갭이 몇 번 발생했는지는 답이 없습니다 — 0건이라고 말할 근거도 없고, 발생했다고 말할 근거도 없습니다.
(b) 어휘·규칙을 넓히면 오발화 표면도 함께 넓어집니다. 행 2·3 의 침묵 케이스는 그 반대 방향을 고정하지만, 그 목록을 저작한 것도 이 PR 입니다 — 자기 자신을 오라클로 쓴 부분이 남아 있습니다. 실제 세션 메뉴 캡처로 측정한 것이 아닙니다.
(c) Gap 3 의 잔여(안전 MODE 토큰 + mutation 동사, 고-blast 대상 없음)는 이 PR 이 고르지 않은 축이고 pass 로 고정만 됐습니다. PR 본문이 Closes #974 가 아니라 Refs #974 를 쓴 이유가 이것이고, 머지 후에도 이슈는 열린 채여야 맞습니다.
Evidence 1 — 브랜치에서 스위트를 그대로 실행
이 PR 의 산출물은 훅 판정의 변화이고, 그 판정은 픽스처 스위트가 오라클입니다. 먼저 기준선으로 브랜치 상태에서 전량을 돌립니다.
$ cd $WT && git rev-parse --short HEAD
962eb48
$ bash tests/hooks/advisory-nudge/test_menu_mutation_tier.sh
...
PASS [advisory] q1 all-prod, q2 safe → still nudges
PASS [pass] no question triggers → pass
PASS [pass] self-application: own spec.md → silent
PASS=110 FAIL=0
$WT 는 이 브랜치의 워크트리 경로를 담은 변수입니다 — 홈 경로를 그대로 붙이지 않으려고 줄였습니다.
Evidence 2 — Gap 1 의 조건부 규칙을 훅에 직접, 양방향으로
create/update 를 무조건 mutation 신호로 넣으면 훅이 로컬 저작 작업마다 사람에게 묻게 됩니다. PR 이 택한 것은 조건부 Tier 1c — 옵션이 공유 표면을 함께 지칭할 때만입니다. 조건부 규칙은 한 방향만 보면 "규칙이 동작한다" 와 "규칙이 항상 발화한다" 를 구분할 수 없으므로, 발화해야 할 것과 침묵해야 할 것을 같은 하니스로 함께 넣었습니다.
$ bash "$P/probe_1016.sh"
== Gap 1: create/update is Tier 1c — only when the object is a shared surface
FIRES | Create the customer record / Update the customer record
FIRES | 생성/갱신 on a shared surface
-- the same verbs on a local authoring artifact must stay silent --
silent | Create a new test file / Update the existing test
silent | Create a README section / Update the changelog
silent | 문서 생성 / 문서 갱신
silent | Create a shorter title / Update the wording
아래 4개는 PR 본문이 "무조건 확장을 만들어서 측정한 뒤 기각했다" 며 근거로 든 바로 그 오발화 목록입니다. 조건부 형태에서는 전부 침묵합니다. $P 는 프로브를 워크트리 밖에 두려고 담아 둔 경로 변수입니다.
Evidence 3 — Gap 2 의 목적어 의존 규칙을, 같은 하니스의 아래쪽 절반에서
cancel 은 목적어에 따라 의미가 갈립니다 — 진행 중인 prod 배포의 취소는 공유 상태를 바꾸는 행위이고, 대화창의 맨 Cancel 은 아무것도 하지 않습니다. 어휘 목록으로는 갈리지 않으므로 PR 은 판정 규칙(Tier 0b)을 넣었고, 규칙 자체가 새 오발화 표면이라 양쪽을 함께 봐야 합니다. 위 프로브의 아래쪽 절반입니다 — 별도 실행이 아닙니다.
== Gap 2: cancel is Tier 0b — only when it names its object
FIRES | Cancel the prod deployment / Proceed with the prod deployment
-- objectless cancel must stay in the abandon tier --
silent | bare Cancel
silent | Cancel this
silent | bare 취소
첫 줄이 PR 본문이 든 사례입니다 — 두 옵션이 모두 prod 를 바꾸는데 이전에는 전체가 침묵했습니다. 목적어가 없는 세 형태는 그대로 포기 티어에 남습니다.
Evidence 4 — Gap 3 을 "안 고쳤다" 가 아니라 "기록했다" 로 읽을 수 있는지
재현되지 않은 결함에 추측 픽스를 넣지 않는 것과, 결함을 조용히 지나가는 것은 다릅니다. 갈림길은 잔여가 실재한다는 증거가 픽스처 안에 남아 있는지입니다. test_menu_mutation_tier.sh:356 이하 (d9) 블록이 그것입니다:
$ sed -n '364,372p' tests/hooks/advisory-nudge/test_menu_mutation_tier.sh
# The residual. `pass` records what the hook DOES, not what is wanted.
run_case "gap3 residual (open): dry-run→delete, no prod" pass default "$(build_payload '["Dry-run then delete the customer table", "Delete the customer table"]')"
run_case "gap3 residual (open): KO 드라이런 후 삭제" pass default "$(build_payload '["드라이런 후 고객 테이블 삭제", "고객 테이블 삭제"]')"
# The row-4 control proving the residual is real and not a broken probe: the
# identical shape with a high-blast target fires, in both modes.
run_case "gap3 control: same shape WITH prod" advisory default "$(build_payload '["Dry-run then delete the prod table", "Delete the prod table"]')"
run_case "strict: gap3 control WITH prod blocks" block strict "$(build_payload '["Dry-run then delete the prod table", "Delete the prod table"]')"
Positive control: 잔여 케이스가 침묵하는 것만 보면 "훅이 못 잡는다" 와 "픽스처가 잘못 만들어졌다" 를 구분할 수 없습니다. 같은 모양에 prod 만 넣은 대조군이 advisory·strict 두 모드에서 발화하므로, 침묵은 하니스 고장이 아니라 훅의 실제 판정입니다. 이 8개 케이스 전부 행 1 의 110건 안에서 통과했습니다.
기각한 동사-축 수정이 깨뜨렸을 반례 4종(Dry-run the deploy, Simulate the merge, Report-only pass on the send, 배포 드라이런)도 함께 고정돼 있어, 나중 라운드가 "고쳤다" 며 들어오면 통과가 아니라 여기서 떨어집니다.
Evidence 5 — `main` 의 픽스처 전량을 이 브랜치 impl 에 돌려 회귀를 봄
행 1 은 브랜치의 스위트를 브랜치의 impl 로 돌린 것이라, 판정이 바뀐 케이스가 있으면 픽스처도 함께 바뀌었을 수 있어 회귀를 잡지 못합니다. 회귀 오라클은 바뀌지 않은 쪽이어야 하므로, main 의 테스트 파일을 그대로 꺼내 브랜치 impl 에 물렸습니다. 테스트가 $0 기준으로 훅 경로를 잡으므로(test_...sh:18-20) 같은 디렉터리에 임시 이름으로 두고 돌린 뒤 지웠습니다.
$ git show origin/main:tests/hooks/advisory-nudge/test_menu_mutation_tier.sh > /tmp/mt_main.sh
$ wc -l /tmp/mt_main.sh tests/hooks/advisory-nudge/test_menu_mutation_tier.sh
359 /tmp/mt_main.sh
463 tests/hooks/advisory-nudge/test_menu_mutation_tier.sh
822 total
$ cp /tmp/mt_main.sh tests/hooks/advisory-nudge/.mt_main_probe.sh
$ bash tests/hooks/advisory-nudge/.mt_main_probe.sh
...
PASS=76 FAIL=0
$ rm -f tests/hooks/advisory-nudge/.mt_main_probe.sh
$ git status --porcelain tests/
(빈 출력, exit 0 — 임시 파일이 남지 않음)
main 이 고정해 둔 76건이 하나도 뒤집히지 않았습니다. 브랜치가 더한 34건이 순증이고, 그중 침묵 케이스가 행 2·3 의 반대 방향입니다.
History — rev 1, 최초 게시
이전 판본 없음. 대체된 근거도 없습니다.
Codex P1 (PR #1072). 앞 커밋의 Tier 1e 는 연결어·파괴적 동사·공유 표면이 한 옵션에 함께 있기만 하면 탈락시켰다. 그래서 `Dry-run the delete operation, then inspect the customer table` — 삭제가 dry-run 의 목적어이고 뒷절은 조회뿐인 안전한 옵션 — 까지 탈락해, strict 모드가 정상 메뉴를 차단했다. 훅의 목적과 정반대다. 연결어로 절을 쪼개고, low-blast 토큰이 없는 절에 파괴적 동사가 있을 때만 탈락시킨다. 순서 특례가 사라진다 — `Delete the table, then dry-run to confirm` 은 첫 절에서 걸린다. 수정 전 오차단 재현: 위 입력이 default advisory / strict rc=2. 수정 후 침묵하고, gap 3 두 형태와 역순은 계속 발화한다. PR #1016 이 기각한 반례 4건과 기존 대조군 2건도 재측정해 침묵 유지. 테스트 115/115 (회귀 fixture 2건 추가: P1 입력, 역순). Confidence: high Not-tested: 런타임 발화; 한국어 커버리지는 합성 입력 Session-Id: 986b3ff6-861d-4339-9c8a-4442f03ed2df
* fix(menu-tier): close gap 3 for destructive-verb sequences 이슈 #974 gap 3(PR #966 codex 라운드-1 세 번째 지적)를 닫는다. PR #1016은 이 잔여(`Dry-run then delete the customer table` / `Delete the customer table`가 두 모드 모두 침묵)를 재현하고 넓은 수정(safe MODE + 아무 mutation 동사나 ⇒ non-low-blast)을 만들었다가 `Deploy now` / `Dry-run the deploy`, `Merge now` / `Simulate the merge`, `Send the announcement` / `Report-only pass on the send`, `지금 배포` / `배포 드라이런` — 이 훅이 메뉴에 담기를 바라는 정확한 단일절 dry-run 대안 4건에서 오발화해 기각하고, d9 픽스처로 현재(결함 있는) 동작을 고정했다. 재현 확인(현재 impl.py, 수정 전): $ python3 impl.py < gap3.json # Dry-run then delete the customer table (침묵, rc=0) # / Delete the customer table $ python3 impl.py < gap3ctrl.json # 동일 구조 + prod [advisory] ... # (advisory 발화, strict rc=2) — 잔여가 실재함을 증명 파괴적 동사(delete/drop/truncate/삭제)로 범위를 좁힌 Tier 1e를 추가했다 — 같은 옵션 안에서 safe-MODE 토큰과 공유 표면을 지칭하는 파괴적 동사가 연결어(`then` / ` 후 `)로 이어지면 두 번째 절이 무조건 실행되는 것으로 보고 low-blast 판정을 취소한다. PR #1016이 기각한 4건 반례는 전부 deploy/merge/send를 쓰고 파괴적 동사를 쓰지 않아 좁힌 규칙에 걸리지 않는다 — 4건 모두 재측정해 여전히 침묵함을 확인했다. `merge`/`deploy`/`send` 등 나머지 Tier 1b 동사는 의도적으로 Tier 1e 밖에 남긴다. 수정 후 재현: $ python3 impl.py < gap3.json [advisory] ... rc=0 (advisory) $ PRAXIS_MENU_MUTATION_TIER_STRICT=1 python3 impl.py < gap3.json BLOCKED: ... rc=2 거짓양성 대조(신규 판별식 자체에 대한): - `Dry-run then delete the test fixture` — LOCAL_ARTIFACT 베토로 침묵 유지 - `Delete now` / `Dry-run the delete` (연결어 없음) — 침묵 유지 테스트: tests/hooks/advisory-nudge/test_menu_mutation_tier.sh PASS=113 FAIL=0 (기존 110건 전수 재확인, 잔여 3건 → advisory×2+strict-block×1로 치환, 반례 4건 재측정 유지, 신규 거짓양성 대조 2건 추가). python3 scripts/check-plugin-manifests.py → "plugin-manifest check OK". shellcheck tests/hooks/advisory-nudge/test_menu_mutation_tier.sh → clean. Refs #974 Confidence: medium Not-tested: runtime firing inside Claude Code; Korean coverage is synthetic; shellcheck ran clean but no live-session traffic validation of the new discriminator * fix(menu-tier): judge tier 1e per clause, not per option Codex P1 (PR #1072). 앞 커밋의 Tier 1e 는 연결어·파괴적 동사·공유 표면이 한 옵션에 함께 있기만 하면 탈락시켰다. 그래서 `Dry-run the delete operation, then inspect the customer table` — 삭제가 dry-run 의 목적어이고 뒷절은 조회뿐인 안전한 옵션 — 까지 탈락해, strict 모드가 정상 메뉴를 차단했다. 훅의 목적과 정반대다. 연결어로 절을 쪼개고, low-blast 토큰이 없는 절에 파괴적 동사가 있을 때만 탈락시킨다. 순서 특례가 사라진다 — `Delete the table, then dry-run to confirm` 은 첫 절에서 걸린다. 수정 전 오차단 재현: 위 입력이 default advisory / strict rc=2. 수정 후 침묵하고, gap 3 두 형태와 역순은 계속 발화한다. PR #1016 이 기각한 반례 4건과 기존 대조군 2건도 재측정해 침묵 유지. 테스트 115/115 (회귀 fixture 2건 추가: P1 입력, 역순). Confidence: high Not-tested: 런타임 발화; 한국어 커버리지는 합성 입력 Session-Id: 986b3ff6-861d-4339-9c8a-4442f03ed2df
요약
PR #966 codex 라운드-1 이 지적한 커버리지 결함 3건 중 재현된 2건을 닫고, 3번째는 열린 채로 명시 기록한다.
Gap 1 —
create/update가 어떤 어휘 집합에도 없었다모든 옵션이 mutation 인 메뉴("Create the customer record" / "Update the customer record")가 고-blast 대상 토큰 없이는 침묵했다.
create/update/생성/갱신을 조건부 Tier 1c 로 넣었다 — 옵션이 공유 표면(SHARED_SURFACE_NOUNS)을 함께 지칭하고 로컬 저작 산출물(LOCAL_ARTIFACT_NOUNS)이 아닐 때만 mutation 신호가 된다.이슈가 스케치한 무조건 확장은 만들어서 측정한 뒤 기각했다. 다음에서 전부 오발화했다:
PR #966 rev 5 이후 기본 경로가
emit_decision("ask", …)이므로 이것들은 로그 한 줄이 아니라 사람에게 묻는 확인 프롬프트다. 이 사실은 spec.md 의 "오발화 비용은 한 문장" 이라는 이제 낡은 근거도 함께 바로잡는다. 프로빙 후 명사 6종(schema,index,namespace,migration,dag,pipeline등)은 오히려 오발화를 늘려 제외했다.Gap 2 — 목적어가 명시된
Cancel이 포기로 분류됐다cancel이ABANDON_TOKENS_EN에 있어 "Cancel the prod deployment" 가 아무것도 하지 않는 티어로 취급됐다. 진행 중인 배포 취소는 공유 상태를 바꾸는 행위다. "Cancel the prod deployment" / "Proceed with the prod deployment" 메뉴는 둘 다 prod 를 바꾸는데 전체가 침묵했다.이건 어휘 확장으로 풀리지 않는다 —
cancel의 의미가 목적어에 달려 있다. Tier 0b 판정 규칙을 넣되, 규칙 자체가 새 오발화 표면이므로 양방향으로 고정했다:cancel(EN/KO, advisory·strict 양 모드)Cancel,Cancel this, KO 맨취소, 안전 티어 옆의 cancel, 부정어를 실은 no-go 옵션 2종do not notify라이더 메뉴는 계속 발화해야 한다 — 이것이 부정 토큰의 적용 범위를cancel로 묶어두는 잠금이다Gap 3 — 재현되지 않아 고치지 않았다
이슈 스스로 "이 이슈를 쓰면서 독립 재현하지 않았다" 고 적었고, PR #966 의 앵커 행 4 가 인접 케이스를 이미 닫았다. 그 차집합을 재현으로 갈랐고 남은 잔여는 있으나 이 PR 이 고르지 않은 축이다. d9 픽스처가 이 상태를 기록한다 — 잔여 2 케이스를 현재 동작 그대로(원하는 동작이 아니라)
pass로 고정하고, 잔여가 실재함을 보이는prod대조군과, 기각한 동사-축 수정이 깨뜨렸을 반례 4종을 함께 남겼다. 재현되지 않은 결함에 추측 픽스를 넣지 않는 것이 이 저장소 ETHOS 의 요구다.검증
tests/hooks/advisory-nudge/test_menu_mutation_tier.sh: PASS=110 FAIL=0 (브랜치 격리 상태). 기존 픽스처의 침묵 케이스를 전수 재확인했고 뒤집힌 것은 없다.미확인
부분 범위이므로
Closes가 아니라Refs를 쓴다 — 이슈 본문의 (3) 이 열린 채이고,Closes로 머지하면 그 추적 스레드가 함께 닫힌다.Refs #974
🤖 Generated with Claude Code
https://claude.ai/code/session_014Q4o2BtBPpsrr19he6qVpc
Generated by Claude Code