Skip to content

fix(hooks): safe_tokenize drops commands across a multi-line quote #987

Closed

Description

@devseunggwan

safe_tokenize 는 명령을 줄 단위로 잘라 토크나이즈한다. 따옴표가 한 줄에서 열려 다른 줄에서 닫히면 여는 줄과 닫는 줄이 둘 다 빈 토큰으로 떨어지고, 닫는 줄에 실려 있던 실제 명령이 통째로 사라진다. 머지 게이트 3종이 이 형태에서 전부 침묵한다.

재현 (main, 8dfafdf)

$ payload: git commit -m "$(cat <<'EOF'\nbody line\nEOF\n)" && gh pr merge 9 --squash
momentum    exit=0 stderr_bytes=0
approval    <silent>
side-effect <silent>

Positive control — 같은 하네스에서 대조군 둘은 3종 모두 발화한다. 침묵은 오라클이 죽어서 생긴 것이 아니다.

$ payload: gh pr merge 9 --squash                          # heredoc 없음
momentum exit=0 stderr_bytes=1119 / approval ask / side-effect ask
$ payload: cat <<EOF\nbody\nEOF\ngh pr merge 9 --squash    # terminator 이후 줄
momentum exit=0 stderr_bytes=1119 / approval ask / side-effect ask

Refutation: 탐지되고 있었다면 첫 payload 도 위 두 줄과 같은 stderr_bytes=1119 + ask 두 개가 나왔어야 한다.

메커니즘 — heredoc 축이 아니다

heredoc 처리 자체는 정상이다. #985 에서 들어간 strip_heredoc_bodies 는 본문만 비우고 terminator 를 남긴다:

$ strip_heredoc_bodies(cmd)
'git commit -m "$(cat <<\'EOF\'\n\nEOF\n)" && gh pr merge 9 --squash'
$ safe_tokenize(cmd)
[';', 'EOF', ';']

줄 단위로 좁히면 원인이 나온다:

$ safe_tokenize('git commit -m "$(cat <<\'EOF\'')  -> []
$ safe_tokenize(')" && gh pr merge 9 --squash')     -> []
$ safe_tokenize('gh pr merge 9 --squash')           -> ['gh','pr','merge','9','--squash']

여는 따옴표로 끝나는 첫 줄과, 그 따옴표를 닫으며 시작하는 마지막 줄이 둘 다 빈 토큰이다. 실제 머지 명령은 후자에 들어 있어 함께 소실된다. # 는 이 payload 에 하나도 없으므로 #972 의 메커니즘(인용 상태 확정 전 # 제거)과는 다른 경로다.

#972 와의 관계

뿌리는 같다 — 줄 단위 토크나이즈가 여러 줄에 걸친 인용을 잇지 못한다. 갈라지는 지점은 두 가지다.

두 이슈를 합칠지, 이 이슈를 #972 의 근거로만 쓸지는 #972 의 1번 조사 결과를 보고 정하는 게 맞다고 본다.

확인된 것 / 안 된 것

  • 확인: 위 재현·대조군·줄 단위 분해 전부 main 8dfafdf 실측이다. fix(hooks): merge gates fire on non-merge commands #985 는 이 축을 건드리지 않았고, 이 결함은 그 PR 이전부터 존재한다.
  • 미확인: 같은 원인을 공유하는 다른 입력 형태(여러 줄에 걸친 작은따옴표, $(...) 안의 개행, 인라인 --body 여러 줄)를 전수하지 않았다. 확인한 것은 payload 1건과 대조군 2건이다.
  • 미확인: 머지 게이트 3종 외에 어느 훅이 이 입력으로 눈이 머는지 열거하지 않았다. safe_tokenize 소비 파일은 77개다.

작업 목록

  • 입력 표면 열거 — 여러 줄 인용의 변형(작은따옴표/큰따옴표, $(...) 개행, 인라인 --body, 백슬래시 연결과의 조합)을 먼저 나열하고 각각을 테스트 케이스로 승격
  • 영향 훅 열거 — safe_tokenize 소비 훅 중 이 입력으로 판정이 바뀌는 것을 실측 (fix(hooks): safe_tokenize strips # before quote state is resolved #972 의 13개 분류와 겹치는 범위 확인)
  • 수정 방향 결정 — 줄 단위 pre-split 을 유지한 채 인용 상태를 줄 사이로 잇는 방식인지, shlex.split 합집합을 공유 프리미티브로 올리는 방식인지 (fix(hooks): safe_tokenize strips # before quote state is resolved #972 가 후자를 제안하고 있어 중복 설계를 피할 것)
  • 회귀 테스트 — 위 표면 전체 + 대조군(정상 탐지되어야 하는 형태)을 함께 고정

Refs #972

Activity

  1. devseunggwan commented on Aug 14, 2026

    @devseunggwan
    OwnerAuthor

    조사 결과 — implementable-defect

    결정: 진행 → PR #1014

    재현 (main, ea24d15)

    본문의 payload 가 지목한 3개 게이트가 정확히 눈이 먼다. safe_tokenize 소비 훅 45개 × (payload vs 동일 내용 한 줄 대조군) 전수 스윕:

    ### VERDICT-CHANGING HOOKS: 3
      momentum-rule-retrieval-gate  control=(0,'',True)     -> payload=(0,'',False)
      pre-merge-approval-gate       control=(0,'ask',False) -> payload=(0,'',False)
      side-effect-scan              control=(0,'ask',False) -> payload=(0,'',False)
    

    양성 대조

    같은 하네스에서 한 줄짜리 git commit -m "body line" && gh pr merge 9 --squash 는 3종 모두 발화한다(stderr_bytes=820, dec=ask, dec=ask). 침묵은 프로브가 죽어서 생긴 것이 아니다.

    본문 서술 하나가 반증됐다

    "heredoc 형태" 라는 프레이밍은 좁다. heredoc 도 # 도 없는 순수 여러 줄 인용이 3종을 동일하게 눈멀게 한다:

    cmd='git commit -m "line one\nline two" && gh pr merge 9 --squash'
      momentum-rule-retrieval-gate  exit=0 dec=-  stderr_bytes=0
      pre-merge-approval-gate       exit=0 dec=-  stderr_bytes=0
      side-effect-scan              exit=0 dec=-  stderr_bytes=0
    

    따옴표 안의 개행이면 충분하다. heredoc 은 우연한 동반자다. 작은따옴표 변형도 동일.

    작업 목록 대응

    주의: 소박한 수정은 새 우회로를 만든다

    여는 따옴표에서 단순히 줄을 잇기만 하면 새 우회로 2개가 생긴다 — 인용되지 않은 주석 안의 아포스트로피(git status # don't do this + 개행 + 실제 머지)가 여는 따옴표로 오독되어 뒤따르는 진짜 명령을 삼킨다. 알려진 구멍을 새 구멍과 맞바꾸는 셈이라, 스캐너를 주석 인지형으로 만들어야 했다. 아이러니하게도 # 가 인용 상태와 실제로 상호작용하는 유일한 지점이고, #972 가 주장한 것의 정반대 방향이다.

    파생 작업 2건이 PR 에 포함됐다

    없으면 머지 자체가 불가능하다.

    1. test_side_effect_scan.sh 의 "commit message quoting a merge" 가 pass(출력 없음)를 단언했는데, 그 단언은 토크나이저가 git commit 을 숨길 때만 성립했다. 새 헬퍼로 [git-commit] 포함 + merge 카테고리 부재를 단언하도록 바꿨다 — fix(hooks): merge gates fire on non-merge commands #985 의 의도는 지키면서 잘못된 이유로는 통과 못 한다.
    2. extract_git_titles 가 $(cat <<'EOF' 를 리터럴 제목으로 채점해 표준 커밋 형식을 exit 2 로 막았다. 기존 결함이다(git commit -m "$(printf %s x)" 도 unpatched 에서 막힌다). 이 변경이 드문 것을 일상적으로 만들 뿐이다.

    미확인

    • 45개는 safe_tokenize 직접 참조 훅이다. 본문이 말하는 소비 파일 77개 중 tokenize_with_roles 등을 통한 전이적 소비자는 역할 수준 diff 를 돌리지 않았다.
    • 코퍼스에 없는 형태: 중첩 $( $( ) ), 여러 줄 $'…'/백틱, case/function 본문, 배열, 프로세스 치환, CRLF.
    • 판정 변화 18건이 소유자가 원하는 방향인지는 확인받지 않았다. 15건을 의도·3건을 오탐으로 분류한 것은 각 훅의 사유 문자열 판독에 근거한다.

    #972 와의 관계

    본문이 "#972 의 1번 조사 결과를 보고 정하는 게 맞다" 고 적었고, 그 조사를 했다. 결과는 #972 에 따로 남겼다 — 요약하면 #972 의 메커니즘 서술은 틀렸고 영향은 0이며, 뿌리는 이 이슈와 같다.


    Generated by Claude Code

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions