Skip to content

Block an irreversible mutation reopened by an adjacent utterance #1007

Closed

Description

@devseunggwan

Problem

A user explicitly rejects an AskUserQuestion for an irreversible mutation. A later user message — different in scope — is then read as approval, and the mutation fires.

Observed:

  1. Agent asks whether to delete the remaining ~295M objects. User rejects.
  2. Next user message is a two-word instruction about running two workstreams in parallel. It names no deletion scope.
  3. Agent launches the deletion worker.
  4. The command classifier denies it. The classifier was the only thing that stopped it — not judgment.

A rejection is a standing NO for that mutation. Nothing checks the scope of the next utterance before it is consumed as consent.

Why prose has not been enough

The governing rules already exist (one utterance = one mutation, per-action approval). Both carry recurrence in the memory ledger with enforcement: none. Two generations of prose-layer remedy have failed.

Proposal

A PreToolUse hook on irreversible mutation commands (bulk delete, prod write, drop, purge):

  1. Look back over the session for a rejected AskUserQuestion.
  2. If its target overlaps the target of the command about to run, block.
  3. The block message quotes the rejected question verbatim and demands fresh approval.

Tasks

  • Decide how to enumerate rejected AskUserQuestion events in the session
  • Define the target-overlap predicate (identifier extraction: bucket/prefix/table)
  • Implement the hook + fixtures (reject → same mutation re-fired → blocked)
  • False positive check: an explicit re-approval after rejection must pass
  • Register the hook

Known limit

A plan written only in prose produces no tool call, so the hook cannot see it. This covers the firing point only.

Activity

  1. self-assigned this
    on Aug 14, 2026
  2. devseunggwan commented on Aug 14, 2026

    @devseunggwan
    OwnerAuthor

    조사 결과 — design-decision

    결정: 보류 — 결정 필요

    공백은 실재한다 — 어떤 praxis 훅도 이전 사용자 거부를 읽지 않고, bulk-delete / prod-write / DROP 표면에서 발화하는 훅도 없다. 다만 본문이 하중을 지는 정의 두 개를 열어둔 채여서, 그것을 정하기 전에는 deny 티어 훅을 쓸 수 없다.

    게이트 판정

    (a) 거부된 AskUserQuestion 을 PreToolUse 에서 열거할 수 있는가 — ESC/deny 형태에 대해 충족. 실제 전사 거부 레코드가 toolDenialKind: "user-rejected" + toolUseResult: "User rejected tool use" + is_error: true 를 싣고, tool_use-id 조인으로 원래 AskUserQuestion 의 질문 텍스트·옵션 라벨까지 되돌아갈 수 있다. 이 조인은 pr-report-destination-gate 가 이미 수행하는 것과 같은 조인이다. 작업 1은 답할 수 있고 답했다.

    (a′) 다른 독법에 대해서는 미충족. "거부" 가 "사용자가 거절 옵션을 골랐다" 를 뜻한다면, 그건 toolUseResult.answers 안의 자유 텍스트로만 존재하며 자연어 분류가 필요하다.

    결정해야 할 축 3개

    1. 거부의 정의

    • A. 구조적만 (toolDenialKind / is_error + 고정 문자열, tool_use_id 조인) — 판단 0, DESIGN.md 의 구조적 토크나이징과 일치, 바이트 정확 픽스처로 테스트 가능. 다만 사용자가 "아니오" 옵션을 고른 흔한 경우를 놓친다.
    • B. 구조적 ∪ 거절 라벨 분류 (언어별 부정 토큰 목록, block-manufactured-action-menu 의 부정 마커 윈도우 방식) — 보고된 사건을 덮지만 deny 티어 게이트에 자연어 판단을 들인다.

    2. 겹침 술어

    • P1. 리터럴 공유 식별자 — 거부된 질문 텍스트와 대기 명령 양쪽에서 s3://bucket/prefix, gs://…, DROP/TRUNCATE 뒤 테이블명을 뽑아 정규화된 식별자가 겹칠 때만 차단. 정밀하고 오탐이 거의 없으며 추출기가 테스트 가능. 대신 표현이 조금만 달라도 빠져나간다.
    • P2. 동사 클래스 겹침 — 식별자 일치 없이 "거부 질문에 delete/purge/drop 이 있고 대기 명령이 비가역 클래스" 면 차단. 보고된 사건을 잡지만 한 번 거부 이후 세션 내내 무관한 bulk delete 까지 전부 막는다.
    • P3. P1 + P2 폴백 — 동사 클래스만 맞으면 deny 대신 ask 로 강등. 식별자가 있으면 정밀, 없으면 부드러운 재확인. 티어 두 개를 명세·테스트해야 한다.

    3. 매처 범위와 티어

    • M1 Bash 만 — 가장 싸고 기존 PreToolUse 게이트 전부와 일치. 그런데 관측된 사건을 가로채지 못한다 — 그 발화 지점은 에이전트/워커 디스패치였고, 본문 서술도 그것을 멈춘 것은 praxis 가 아니라 명령 분류기였다고 적고 있다.
    • M2 Bash + 디스패치 표면(Task/Workflow/Agent, Bash 형태 cmux-delegate) — 실제 발화 지점을 덮지만 디스패치 페이로드의 자유 자연어를 스캔해야 하므로 또 판단이 들어온다.
    • 티어: deny(본문 표현 "block") vs ask(destructive-bash-guard strict 모드 선례). ask 가 본문이 원하는 처방("새로운 승인을 요구한다")에 정확히 부합하고 오탐 시 안전하게 열화된다. deny 는 오탐 시 훅 우회 환경변수를 강요한다.

    권고

    본문대로 구현하지 말 것. 아래 결정을 먼저 받고 좁은 버전을 만든다. 훅을 만든다면: 정의 A ∪ B-제한, 술어 P3, 1라운드는 매처 M1, 티어는 deny 가 아니라 ask.

    대안으로 "코드 없이 RULE-BACKSTOP-GAPS.md 4번 행으로 기록하고 2번째 사례를 기다린다" 도 정직한 선택지다. 비용은 명확하다 — 실패 양상이 비가역 데이터 손실이라 기다리기에 최악의 클래스다. 반면 현재 근거는 일화 1건이고 그 전사도 없다.

    • 대상 파일: 새 훅 디렉터리 + hooks/_lib/_transcript.py + hooks/manifest.json + 5개 플랫폼 hooks.json + 문서 5종
    • 규모: large

    결정이 필요한 지점

    이 훅이 키를 거는 "거부된 AskUserQuestion" 이 무엇입니까 — 구조적 도구 거부만(toolDenialKind: "user-rejected" / is_error: true, 실제 전사에 존재하고 조인 가능함을 확인), 아니면 성공한 AskUserQuestion 중 고른 옵션 라벨이 의미상 "아니오" 인 경우까지(자유 텍스트로만 존재, 자연어 분류 필요)?

    이 답이 praxis 가 deny 티어로 방어할 수 있는 구조적 게이트인지, ask 티어로 나가야 하는 판단 게이트인지를 결정하고, 부수적으로 매처가 Bash 를 넘어 디스패치 표면까지 가야 하는지도 결정합니다.

    미확인

    • 실제로 거부된 AskUserQuestion 을 한 번도 관측하지 못했다. 사용 가능한 전사 18개 파일 1,250 이벤트 중 살아 있는 AskUserQuestion 은 1건이고 그건 답변된 것이었다. 제가 포착한 거부 레코드는 Workflow 도구 호출의 것이다. 런타임이 거부된 AskUserQuestion 에도 같은 봉투를 쓴다는 가정은 미검증이며, 작업 1의 하중을 지고 있다.
    • 보고된 사건을 end-to-end 로 재현하지 못했다.

    Generated by Claude Code

  3. devseunggwan commented on Aug 15, 2026

    @devseunggwan
    OwnerAuthor

    결정 확정 → PR #1028

    정의 A(구조적만) + 술어 P1(리터럴 공유 식별자) + 매처 Bash 만 + 티어 ask. 열려 있던 두 정의를 모두 가장 좁은 쪽으로 닫았습니다.

    축 채택 기각
    거부 toolDenialKind == "user-rejected" (+is_error 이중), tool_use_id 로 AskUserQuestion 조인 옵션 라벨의 거절 의미 분류 — 자연어 판단을 게이트에 들이지 않음
    겹침 P1: s3://, gs://, DROP/TRUNCATE/DELETE FROM 뒤 테이블명을 양쪽에서 뽑아 정규화 일치 동사 클래스 폴백 — 한 번 거부 후 무관한 삭제까지 차단
    매처·티어 Bash 만 / ask 디스패치 표면 / deny

    정직하게 남긴 한계

    Bash 전용으로는 최초 사건을 가로채지 못했을 것입니다. 그 발화 지점은 에이전트/워커 디스패치였고, 본문도 그것을 멈춘 것은 praxis 가 아니라 명령 분류기였다고 적고 있습니다. 이 한계를 spec.md 에 적었고, 디스패치 표면 확장은 별도 이슈입니다.

    구현 중 고친 규약 위반

    에이전트가 ask 사유를 손으로 조립했는데, tests/test_block_message.py 가 레거시 허용목록에 없는 훅에 대해 그것을 금지합니다. 형제 cross-boundary-preflight 는 목록에 있어 통과하지만 새 게이트는 그 면제를 주장할 수 없습니다 — 허용목록에 추가하면 그 테스트의 의미가 사라집니다. block_message.format_block 으로 바꿨고, bypass_env 는 None 입니다(ask 자체가 탈출구라 이름 붙일 변수가 없고 format_block 이 Bypass 줄을 생략합니다).

    test_rejected_mutation_reconsent_gate.sh   PASS: 25  FAIL: 0
    test_transcript + test_dispatch + test_block_message   123 passed
    check-plugin-manifests.py                  OK
    

    픽스처 4방향: 같은 prefix(ask) / 다른 prefix(침묵) / 선행 거부 없음(침묵) / AskUserQuestion 아닌 도구에 조인된 거부(침묵).

    미확인 — 하중을 지는 가정 하나

    실제로 거부된 AskUserQuestion 을 한 번도 관측하지 못했습니다. 사용 가능한 전사 1,250 이벤트 중 살아 있는 AskUserQuestion 은 1건이고 답변된 것이었습니다. 제가 포착한 거부 레코드는 Workflow 도구 호출의 것입니다. 런타임이 거부된 AskUserQuestion 에도 같은 봉투를 쓴다는 가정은 미검증이며 이 훅 전체가 그 위에 서 있습니다. 실사용에서 한 번 거부해 보시면 바로 확인됩니다 — 아니면 훅은 fail-open 으로 침묵합니다.

    P1 이 놓치는 표현 변형(같은 대상을 다르게 지칭)의 빈도도 측정하지 않았습니다.


    Generated by Claude Code

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

enhancementNew feature or request

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions