Skip to content

[F2-5] World 없는 한 개인의 제품 수용·장애 검증 #22

Description

@thisisjun786

상위 로드맵: #16. 기준: F1 PR #14 + 수정 PR #15 (4ed1ff8). 구현 전 PR #15의 병합 결과와 최신 dev를 대조한다.

User problem

개별 함수·대역 테스트나 과거 QA 3+1 성공만으로 새 Moirai 제품 단면이 완성됐다고 할 수 없다.

Desired outcome

실제 제품 입력에서 판단·대화/행동·관측/학습·다음 회차·재시작까지 한 개인의 전체 경로를 확인하고 F2 완료 여부를 결정한다.

Dependencies

Scope

  • NEW 후보 scripts/qa/moirai-evals/의 제품 수용 시나리오·결과 artifact; 실제 session-app.ts/SessionPort/TaskManager 설치 경로로 실행한다. 기존 moirai-probe와 Senpi QA는 참고 자료다.
  • 단순 지시·정정·감정 대화, 목표 충돌/일치, 의도 유지/변경, 후보 하나의 평가 불가, 실제 task 효과·결과 환류를 고정 사례로 묶는다.
  • 정상 및 부분 실패의 원래 request/source·목표·프리셋·mechanism·결정·응답·trace·outcome 참조를 연결해 캡처한다. 토큰·재시도·신경/IPC/저장 비용을 모두 합산한다.
  • 기존 030 G1–G8 중 이 제품 단면에 적용되는 기준을 명시한다. PR #8의 채점 의미와 호환되지 않는 부분은 미충족으로 남기며 임계값을 조용히 낮추지 않는다.

Acceptance criteria

  • 숨은 World 없이 세 고유 목표의 판단, 최종 응답 하나, 실제 행동 owner receipt, 이후 판단 변화와 재시작을 관찰한다.
  • 출력 한도·부분 JSON·누락 의견·신경 프로세스 종료·Codex 단절·source 철회·불명 효과를 실행으로 재현한다.
  • 배포본 health/카탈로그/HTTP200/모델 자기평가를 완료 근거로 쓰지 않는다. 실제 엔진/API/model/provider/preset 버전과 artifact revision을 기록한다.
  • 기본 프리셋·회로가 미검증이면 pass로 닫지 않는다. 미실행/실패 항목, 정상 요청의 과도한 보류 증가도 결과에 남긴다.

Alternatives and constraints

실제 호출 검증은 해당 작업에서 허용된 모델·비용·환경으로 수행한다. 이 이슈의 등록은 배포나 유료 실험 실행을 뜻하지 않는다. 전체 비교효용/8명 운영 게이트는 F4에 남는다.

017 F2 완료 · 030 G1–G8

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions