[F4-2] 독립 비교 평가·프롬프트 개선 첫 루프 완주

[thisisjun786]

상위 로드맵: #16. 기준: F1 PR #14 + 수정 PR #15 (4ed1ff8). 구현 전 PR #15의 병합 결과와 최신 dev를 대조한다.

User problem

구현·저장·재생 성공과 Moirai/MaleCNS의 추가 효용은 별도 주장이다. 합의율이나 모델 자기평가만으로 개선 여부를 판단하면 원래 목표와 누출 조건을 놓친다.

Desired outcome

동일 총자원·고정 입력에서 대안과 비교하고, 한 프롬프트 변경의 가설을 독립 검증해 채택/보류/기각 및 되돌릴 revision을 남긴다.

Dependencies

• 착수 조건: [F2-5] World 없는 한 개인의 제품 수용·장애 검증 #22.
• 통합 완료 조건: [F2-5] World 없는 한 개인의 제품 수용·장애 검증 #22, [F3] LIFE 기회와 개인 선택 분리·상호작용 연결 #23.
• 두 조건이 다른 경우 선행 계약과 대역으로 착수할 수 있으며 실제 통합 완료로 표시하지 않는다.

Scope

• NEW/EXTEND scripts/qa/moirai-evals/: 고정 사례·dev/holdout 분리·순서 교대·반복·wire capture·outcome·usage·elapsed·terminationReason을 기록한다. 학습 상태·기억·snapshot을 비교군별로 격리한다.
• 비교군: 같은 고유 목표의 구조화 메커니즘 vs 프롬프트3+1, 같은 목표 반복3+1, 같은 총자원 단일 에이전트 재검토; 회로 기여는 일반 순환망·문맥 밴딧·재배선 대조를 분리한다.
• D20 루프를 수행한다: 실패 고정 → A/B/C 또는 비프롬프트 결함 분류 → 기각 가능한 가설 → 한 층 최소 후보 → 실제 전송/재개/압축 확인 → 짝 개발 비교 → 고정 검증 → revision·적용/되돌리기 기록.
• 정답은 명시적 기대·고정 합성 상태·실제 owner 결과에서 얻는다. 결정적 검사를 먼저 쓰고 독립 judge에는 후보명·수정 의도·기대 승자를 숨긴다.
• 완전한 쌍의 승/패/동점과 전체 실행의 누락·중복·장애·unscorable 분모를 분리한다. 결과를 보고 수정한 holdout은 dev로 이동한다.

Acceptance criteria

• 030 G1–G8의 적용 범위/증거가 채워진다. 기존 30개 기준·중요 H 전부·전체90/카테고리80·동일 후보 새 배치3연속 조건은 호환 여부를 먼저 고정하고 약화하지 않는다.
• 외부 결과·목표 지속·선호 수정·회귀·총비용/지연을 보고한다. 동점/미측정/미완료를 추가 효용 pass로 표시하지 않는다.
• 한 자산·한 층 변경의 실제 diff와 RED 사례, 독립 holdout 결과, 채택/보류/기각 이유를 남긴다. 실패 결과도 유효한 산출물이다.
• 제품 프리셋 적용은 F4-1 운영 경계 검증과 승인된 적용 범위를 요구한다. 진행 회차를 바꾸거나 후보를 자동 승격하지 않는다.

Alternatives and constraints

평가 harness와 F2 단면의 개발 사례 작업은 F2-5 뒤 F3와 병행 가능하다. LIFE 포함 최종 평가와 제품 적용은 각각 F3/F4-1 결과를 기다린다. 자동 프롬프트 탐색·통계 인증·유료 호출은 이슈 생성으로 실행하지 않는다.

017 비교 가설 · D20 개선 루프 · 030 수용 게이트

[thisisjun786]

이 이슈의 후속 추적을 Linear로 이전했습니다.

• 이전 위치: JUN-36 · [F4-2] 독립 비교 평가·프롬프트 개선 첫 루프 완주
• 프로젝트: LINA · Moirai 판단 엔진 통합
• 전체 로드맵과 이전 대조표: Moirai F2–F4 로드맵과 마일스톤

본문·수용 체크리스트·참고 링크와 선행 조건을 보존하고 이전 결과를 확인했습니다. 이 GitHub 이슈는 추적 위치 이전으로 닫습니다. 기능 구현·검증이 완료됐다는 뜻은 아니며, 실행 이슈는 Linear의 Backlog에서 계속 관리합니다.