[myungsub]

배경

target_tier는 생성 모델에 요청한 유형이며, 모델이 반환한 라벨이나 평가 데이터의 정답을 대신할 수 없습니다. 현재 main에는 라벨이 없을 때 이 요청값을 대신 넣는 경로가 남아 있습니다. 예를 들어 reward 사례를 요청한 뒤 모델이 유형을 반환하지 않아도, 생성 결과를 reward로 저장할 수 있습니다.

변경

단계	기존 동작	변경 후
데이터 생성	strict 옵션을 생략하면 누락·잘못된 라벨을 목표 유형으로 채우고, 목표와 다른 유효 라벨도 수용	라벨이 누락·잘못됨·불일치이면 새 사례를 생성. 기본 3회 시도 후에도 실패하면 제외하고 기록
로컬 모델 평가	정답 유형이 없으면 target_tier를 사용하며, 마지막 메시지가 assistant인지 확인하지 않음	마지막 assistant 메시지에 유효한 정답 유형이 있어야 평가. 없으면 입력 오류로 중단
벤치마크 구성	teacher_tier가 없으면 최종 라벨과 같다고 간주	생성 모델의 라벨이 명시되어 있고 목표·최종 라벨과 일치하는 샘플만 포함

생성기의 검증은 기존 --strict-target-tier 옵션에서 제공하던 동작을 항상 적용하도록 바꿉니다. 이 옵션을 사용하던 명령은 그대로 실행할 수 있습니다. 재시도할 때는 라벨만 고치지 말고 요청한 유형에 맞는 새 사례를 생성하도록 안내합니다.

검증

• 회귀 테스트 3개 추가: 재생성 성공·재시도 소진 시 제외, 평가 정답 필수, 벤치마크의 생성 모델 라벨 필수 및 일치 여부 확인.
• 전체 단위 테스트 12개, compileall, 패키지 빌드, git diff --check 통과.
• GitHub CI와 CodeQL 통과. 실제 모델 호출·GPU 추론은 수행하지 않았습니다.