Skip to content

feat: 실험 측정 강화 — 분석 스크립트·SUS·행동 검증 지표#123

Merged
sw1029 merged 1 commit into
mainfrom
codex/hci-experiment-upgrades
Jun 12, 2026
Merged

feat: 실험 측정 강화 — 분석 스크립트·SUS·행동 검증 지표#123
sw1029 merged 1 commit into
mainfrom
codex/hci-experiment-upgrades

Conversation

@SilverSupplier

Copy link
Copy Markdown
Collaborator

요약

HCI 평가 관점에서 실험 측정을 강화합니다 (사람 없이 가능한 부분 전부).

  • 분석 스크립트 scripts/playtest-attempts-analysis.py — attempts.csv에서 RQ별 핵심 증거 자동 산출:
    • RQ1: 세션 내 학습 곡선 (rolling 성공률 기울기), 층별 첫 성공까지 시도 수
    • RQ2: 목표 단위 힌트 노출 전후 성공률 비교 (escalator 효과의 준-인과 증거)
    • RQ3: family별 첫 시도 성공률 편차 (필체 공정성)
    • 합성 데이터 자가 검증 포함: python scripts/playtest-attempts-analysis.py --self-test → OK
  • SUS 10문항 (한국어 번안 + 표준 채점) — 외부 기준선(68점)과 비교 가능
  • 피드백 이해의 행동 검증 — 인터뷰 발화 ↔ 다음 시도 로그 대조
  • 보고서 한계 절에 단일 조건 관찰 연구의 formative 프레이밍 명시

검증

  • python scripts/playtest-attempts-analysis.py --self-test 통과 (학습 곡선 양수, 힌트 후 개선, family 불리 조건 재현)
  • npm run validate:docs 통과

- scripts/playtest-attempts-analysis.py: learning curve slope (RQ1),
  per-goal hint before/after success comparison (RQ2), family
  first-attempt fairness spread (RQ3). Includes synthetic self-test.
- RESEARCH_PROTOCOL: SUS 10-item Korean form with standard scoring,
  behavioral verification of feedback understanding, analysis steps.
- FINAL_REPORT: metrics table updated, limitations now state the
  single-condition formative framing and quality-floor accessibility
  trade-off.
@SilverSupplier SilverSupplier requested a review from sw1029 as a code owner June 12, 2026 12:09
@sw1029 sw1029 merged commit c5728c3 into main Jun 12, 2026
5 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants