Skip to content

chore(ci): close the memory lint re-verification path #975

Closed

Description

@devseunggwan

scripts/check-memory-frontmatter.py 는 PR #968 에서 run-tests.sh step 5 로 편입됐지만, CI 에서는 한 번도 실제 린트를 수행하지 못한다. 린트 대상인 메모리 디렉터리가 로컬·gitignore·사용자별 저장소라 CI 러너에 구조적으로 부재하기 때문이다. 그 경로는 N/A 를 찍고 exit 0 으로 빠진다.

결과적으로 이 lint 는 opt-in 이다 — 기여자가 로컬에서 run-tests.sh 를 돌리거나 스크립트를 직접 실행할 때만 드리프트를 잡는다. push 마다 강제되지 않는다.

이슈 #942 가 다루려던 근본 문제가 "이전 retrospect 액션 아이템이 종결되지 않는다" 였고, 그 종결 수단으로 lint + CI 연결을 요구했다. lint 는 생겼지만 CI 연결은 위 이유로 실질적으로 성립하지 않았다. 즉 #942 의 재검증 경로는 아직 닫히지 않았다.

재현 (PR #968 의 CI test job, commit d1a5e03)

$ gh run view 31599314837 --repo devseunggwan/praxis --log --job 94122451341 2>/dev/null | grep -nE "memory-frontmatter|ALL TESTS|INCOMPLETE|=== summary" | head
4789:test	Run bash scripts/run-tests.sh	2026-08-12T13:09:01.6604599Z N/A: memory-frontmatter-lint (memory directory not found — expected in CI / a fresh checkout, not a fixable gap, see issue #942)
5587:test	Run bash scripts/run-tests.sh	2026-08-12T13:09:30.1013765Z ALL TESTS PASSED

(위 출력은 지면상 관련 두 줄만 남기고 === summary === 줄들을 생략했다. 전체는 링크된 job 로그에 있다.)

N/A 줄이 나온 뒤에도 스위트가 ALL TESTS PASSED 로 끝난다 — 접미 (N skipped: ...) 가 없으므로 스킵 0건이고, 이 경로는 실패로 집계되지도 스킵으로 세어지지도 않는다.

이 사실은 PR #968 이 skills/retrospect/references/stage4-execution.md 의 서술을 정정하면서 문서에도 반영됐다 — 정정 전 문장은 "CI 가 다음 드리프트를 잡는다" 였다.

확인된 것 / 안 된 것

  • 확인: 위 CI 로그 인용은 실물이다. N/A 경로의 exit code 시맨틱(비-strict 0 / strict 1)도 PR chore(memory): normalize frontmatter schema drift #968 앵커 행 7 에서 실측됐다.
  • 미확인: 실제 피해 관측은 0건이다. lint 편입 이후 CI 가 놓친 드리프트가 실제로 들어온 사례는 없다 — 편입 자체가 방금이라 관측 창이 없다.
  • 미확인: 아래 접근안 중 어느 것이 이 레포에 맞는지 판단하지 않았다. 작업 1 이 그 판단이다.

작업 목록

  1. CI 가 무엇을 린트할 것인지부터 정한다. 후보는 세 갈래이고, 성격이 서로 다르다.
    • (a) 레포 안에 대표 픽스처 코퍼스를 두고 CI 가 그것을 린트한다 — 스크립트의 회귀는 잡지만, 실제 사용자 메모리의 드리프트는 여전히 못 잡는다.
    • (b) pre-commit / pre-push 훅으로 로컬 강제로 올린다 — 실제 메모리를 린트하지만 CI 가 아니라 로컬 강제다.
    • (c) 현 상태를 의도된 설계로 확정하고 문서에만 남긴다 — 이 경우 이 이슈는 문서 확인만으로 닫힌다.
      (a) 는 이미 tests/test_check_memory_frontmatter.py 가 상당 부분 하고 있으므로, 그 중복을 먼저 재보고 정해야 한다.
  2. 1번에서 (a)·(b) 를 택한 경우에만 구현한다. 어느 쪽이든 "무엇이 강제되고 무엇이 여전히 opt-in 인지" 를 DESIGN.md 나 스크립트 독스트링에 명시한다 — 지금 문제의 절반은 강제 범위가 문서와 어긋나 있었다는 것이다.
  3. stage4-execution.md 의 정정된 문단을 1번 결론에 맞춰 다시 갱신한다.

범위 밖

Refs #942

Activity

  1. self-assigned this
    on Aug 12, 2026
  2. devseunggwan commented on Aug 14, 2026

    @devseunggwan
    OwnerAuthor

    조사 결과 — design-decision

    결정: 보류 — 결정 필요 (다만 게이트가 선택지 (a)를 기각 쪽으로 확정합니다)

    게이트 충족 — (a)를 구현하지 않는 쪽으로 판정

    게이트는 작업 1의 굵은 선행 확인이었다: "(a)는 tests/test_check_memory_frontmatter.py 가 이미 상당 부분 해내고 있다 — 그 겹침을 먼저 재측정하라."

    측정 결과:

    statement coverage 97%  (100개 중 3개 미도달)
    미도달: 251-252행 (clean corpus 의 `OK:` 출력 + return 0)
            256행    (sys.exit(main()))
    

    CI 가 린트하는 저장소 내 픽스처 코퍼스를 추가하면 정확히 그 2개 statement 만 더 덮는다. 대신 영원히 스키마 청정 상태로 유지해야 하는 손수 관리 코퍼스가 하나 더 생긴다 — 기존 memory 픽스처들이 의도적으로 드리프트돼 있는 저장소에서(12건 + 3건 위반, non_utf8 에서는 하드 크래시까지). 기존 픽스처를 재사용할 수도 없다.

    즉 (a)는 비용 대비 이득이 2 statement 다. 기각이 근거 있는 판정이다.

    근본 제약

    이 린트는 원리적으로 CI 에서 돌 수 없다. 대상이 gitignore 된 per-user store 이고 저장소에 들어오지도, 들어올 수도 없다. 반면 스크립트의 로직은 이미 매 푸시마다 pytest 로 강제되고 있다(변이 대조로 증명).

    선택지

    1. (a) 저장소 내 픽스처 코퍼스 + CI 린트 — 근거상 기각. 기존 97% 위에 정확히 2 statement 추가. 실제 사용자 memory 는 원리적으로 린트 불가. 기존 픽스처 재사용 불가.
    2. (b) pre-commit / pre-push 훅으로 로컬 강제 — 가능하지만 조준이 나쁘다. 실제 store 를 린트하긴 하는데 praxis 기여자에 한해, 이 저장소 커밋에 한해서만 작동하고, 개발자 본인의 store 가 드리프트돼 있으면 memory 와 무관한 커밋까지 막는다. 이 저장소에 pre-commit 인프라가 없다.
    3. (c) 현 상태를 의도된 설계로 선언하고 문서에 기록 후 종료 — 권장. 측정된 현실과 일치한다: 스크립트 로직은 매 푸시마다 강제되고, 실제 store 스캔만 opt-in 이며, 이는 저장소에 들어오지 않는 store 에 대해 불가피하다.
    4. (d) memory 쓰기 시점에 프론트매터를 린트하는 praxis 훅 — 보류. 이 저장소가 실제로 특화된 메커니즘이고("Spec defines, hook enforces"), (b)와 달리 praxis 기여자가 아니라 모든 플러그인 사용자에게 도달한다. 다만 오늘 기준 ETHOS.md 의 5회 재발 기준 아래다.
    5. (e) check_file() 의 처리되지 않은 UnicodeDecodeError 수정 — 위와 독립. 작고 재현됨. (c)에서는 불필요하지만 (a)·(b)·(d) 중 무엇을 택하든 필수가 된다(각각이 그 크래시를 도달 가능하게 만들기 때문). 별도 이슈로 내는 편이 낫다.

    권고

    (c), 단 한 가지 단서와 한 가지 파생 작업과 함께.

    필수 편집은 하나뿐이다 — skills/retrospect/references/stage4-execution.md 의 해당 문단. 현재 문구는 사실로는 이미 정확한데("CI 는 이 계열의 다음 드리프트를 잡을 수 없다") 마지막 문장이 "그 재검증 경로는 따라서 아직 불완전하다" 로 끝나 열린 공백처럼 읽힌다. (c) 아래에서는 그 판단이 바뀐다 — 경로는 설계대로 닫혀 있다. 스크립트 로직은 매 푸시 재검증되고, 실제 store 스캔은 영구 opt-in 이다.

    • 대상 파일: skills/retrospect/references/stage4-execution.md (필수), (e) 선택 시 scripts/check-memory-frontmatter.py + tests/test_check_memory_frontmatter.py
    • 규모: small

    결정이 필요한 지점

    "스크립트 로직은 CI 에서 강제, 실제 memory 스캔은 영구 opt-in" 을 의도된 설계로 수용하시겠습니까(선택지 c, 문서 전용 종료)? 아니면 1.9일 관측 창에서 재발 0건임에도 저작 시점 강제를 원하십니까?

    후자라면 다시 둘로 갈립니다 — 저장소 pre-commit 훅(praxis 기여자의 커밋에만 도달) vs memory 쓰기에 붙는 praxis 훅(모든 플러그인 사용자에게 도달하지만 오늘 기준 ETHOS.md 의 5회 재발 기준 아래).

    미확인

    • 이슈가 인용한 CI job 로그. 여기에 gh 가 설치돼 있지 않아 run 31599314837 / job 94122451341 을 가져오지 않았다. 동등 조건은 로컬에서 재현했지만(memory 디렉터리 없음 → N/A → strict 제거 시 exit 0), 인용된 두 로그 줄과 그 실행이 접미사 없는 ALL TESTS PASSED 로 끝났다는 것을 독립 확인하지 못했다. 그 접미사 로직은 run-tests.sh:279-297 을 읽어서 판단한 것이지 관측한 것이 아니다.

    Generated by Claude Code

  3. devseunggwan commented on Aug 15, 2026

    @devseunggwan
    OwnerAuthor

    결정 확정: (c) 의도된 설계로 → PR #1021

    "스크립트 로직은 CI 에서 강제, 실제 memory 스캔은 영구 opt-in" 을 의도된 설계로 확정하고 문서에 기록합니다. 코드 변경 없음.

    게이트가 (a)를 기각합니다

    작업 1의 선행 확인을 측정했습니다:

    statement coverage 97%  (100개 중 3개 미도달)
    미도달: 251-252행 (clean corpus 의 `OK:` 출력 + return 0), 256행 (sys.exit(main()))
    

    CI 가 린트하는 저장소 내 픽스처 코퍼스는 정확히 그 2개 statement 만 더 덮습니다. 대신 영원히 스키마 청정으로 유지해야 하는 손수 관리 코퍼스가 하나 더 생기고 — 기존 memory 픽스처가 의도적으로 드리프트돼 있는 저장소에서(12+3건 위반, non_utf8 하드 크래시) — 기존 픽스처는 재사용할 수도 없습니다.

    바꾼 것은 판단 문장 하나입니다

    stage4-execution.md 의 문단은 사실로는 이미 정확했습니다("CI 는 이 계열의 다음 드리프트를 잡을 수 없다") — 그래서 다시 쓰지 않았습니다.

    바꾼 것은 마지막 판단입니다. "그 재검증 경로는 따라서 아직 불완전하다" 가 열린 공백처럼 읽혔는데, (c) 아래에서는 경로가 설계대로 닫혀 있습니다. 그 왜를 함께 적었습니다 — 닫히지 않은 게 아니라 닫을 수 없고 그것이 설계입니다(대상이 저장소에 들어오지 않는 per-user store 이므로).

    회귀 양방향

    tests/test_retrospect_routing.sh 에 두 줄:

    • 있어야 함: the intended design, not a residual gap — 미래 편집이 (c) 판단을 지우면 실패
    • 없어야 함: still incomplete — 옛 프레이밍이 skills/retrospect/ 어디에든 재도입되면 실패

    run_forbidden_check 를 FORBIDDEN_PATTERNS 배열에 넣지 않고 직접 호출했습니다 — 그 배열은 사용자별 org/handle 하드코딩용이라고 문서화돼 있고 이 패턴은 그 계열이 아닙니다.

    $ bash tests/test_retrospect_routing.sh     PASS: 69  FAIL: 0
    

    별도로 내야 할 것

    (e) check_file() 의 처리되지 않은 UnicodeDecodeError — 재현했지만 이 PR 에 넣지 않았습니다. (c)에서는 도달 불가능하고, (a)·(b)·(d) 중 무엇을 택하든 필수가 됩니다. 나중에 저작 시점 강제로 방향을 트신다면 그때 선행 작업으로 필요합니다. 원하시면 별도 이슈로 열겠습니다.

    (d) memory 쓰기 시점 praxis 훅은 이 저장소가 실제로 특화된 메커니즘이고 모든 플러그인 사용자에게 도달하지만, 오늘 기준 재발 0건으로 ETHOS.md 의 5회 기준 아래입니다.

    미확인

    이슈가 인용한 CI job 로그. 여기에 gh 가 없어 run 31599314837 / job 94122451341 을 가져오지 않았습니다. 동등 조건은 로컬에서 재현했지만, 인용된 두 로그 줄과 그 실행이 접미사 없는 ALL TESTS PASSED 로 끝났다는 것은 독립 확인하지 못했습니다 — run-tests.sh:279-297 을 읽어 판단한 것이지 관측한 것이 아닙니다.


    Generated by Claude Code

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

No labels
No labels

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions