feat(benchmark): 장기 측정 framework — 사용자 daily ledger + weekly self-eval

[luke-n-alpha]

Why

사용자 directive (2026-05-08): "진짜 daily 사용 ground 후속".
Cross-review 결론: "합성 ledger (Phase B-α 80 entries) 로는 R2.5 mechanism
가치 53% 측정 가능, 그러나 daily 사용 진짜 가치 는 합성으로 측정 불가".

각 mechanism (R2.3 / R2.5 / Background brain / decay / importance / KG) 의
진짜 daily 가치 는 사용자 본인 ledger (수개월 history) 위에서만 발현.

Design — 장기 측정 framework

1. 사용자 daily ledger 수집

naia-os 통합 후 (naia-os#240):

• 사용자 본인의 naia-agent 사용 history 자동 수집
• 각 turn 의 timestamp + utterance + memory.recall() 결과 + LLM 답
• daily snapshot (매일 자정 또는 idle) 저장

2. Weekly self-eval (사용자 평가)

매주 1회 사용자 mini-survey:

• 직전 7일 spike inject 의 적절성 (Likert 1-5)
• recall 정확도 ("내가 알려준 X 를 잘 기억하던가?" yes/no)
• 의도하지 않은 inject ("개인 → 업무" leak) — 갯수
• 3-5 문항, 5분 이내

3. Monthly snapshot diff

• store 의 fact 수, archived 수, supersede chain 깊이
• recall 시간 (p50/p95)
• LLM/embedding 누적 cost
• mechanism 별 trigger 횟수 (R2.5 supersede 발동, spike emit, decay forget 등)

4. A/B 측정 (long-term)

각 mechanism on/off A/B (사용자 동의 후):

• 1주 importance gating ON / 1주 OFF
• 사용자 지각 차이 평가
• 정량 (recall accuracy + cost) + 정성 ("다르게 느꼈나?")

산출물

• `src/benchmark/longterm/ledger-collector.ts` — naia-os 측 turn collector
• `src/benchmark/longterm/weekly-eval.ts` — survey 생성 + 결과 수집
• `src/benchmark/longterm/snapshot.ts` — monthly snapshot
• `src/benchmark/longterm/run.ts` — entry (long-running daemon 또는 cron)
• `reports/longterm-{YYYY-MM}.json` — monthly archive

변경 양 (~500 LOC)

단계	LOC
Turn collector (naia-agent hook)	~80
Weekly survey (LLM 으로 mini-questionnaire 자동 생성)	~100
Snapshot + diff	~120
A/B switching	~80
Aggregation + report	~120

우선순위

P2-medium. naia-os 통합 (naia-os#240) 이 prerequisite. 통합 직후
즉시 시작해야 "수개월 후 가치 측정" 가능 (지금 시작 안 하면 history 없음).

관련

• feat(benchmark): R2.3 한국어 자연 데이터 검증 — AI Hub 141 멀티세션 대화 #23 Phase A (단기 합성 측정)
• #45 Phase B-α (단기 합성 측정)
• feat(memory): R2.5 v2 — 시간 연관 회상 + 장기기억 보존 (chain + bi-temporal validity) #24 R2.5 v2 (chain 가치 long-term 측정 필요)
• feat(memory): R3+ Background brain — sleep replay + spike emit + priority adjust #26 Background brain (replay/spike 효과 long-term 측정)
• naia-os#240 (통합 prerequisite)