개요
karpathy/autoresearch 패턴을 젬마봇에 적용하여, 젬마봇이 스스로 시스템 프롬프트/파라미터를 실험하고 개선하는 자동화 루프를 구현한다.
autoresearch 핵심 패턴
- 단일 파일 수정 → 실험 실행 → 메트릭 측정 → 개선이면 유지/아니면 롤백
- 무인 무한 반복
젬마봇 적용 설계
- 실험 대상: 시스템 프롬프트, temperature, top_p, max_tokens 등 생성 파라미터
- 메트릭: 응답 품질 점수 (자기평가 + 벤치마크 정답률)
- 루프:
gemmabot autoresearch 서브커맨드로 실행
- 파라미터 변형 생성
- 벤치마크 셋 실행 (한국어/영어/코드 각 10문제)
- 점수 비교 → 개선이면 config에 반영, 아니면 롤백
- results.tsv에 기록
- 반복
구현 위치
rust/crates/runtime/src/autoresearch.rs (새 모듈)
rust/crates/claw-cli/src/main.rs (서브커맨드 추가)
관련
- Gemma 4 e4b (67 tok/s) 환경에서 빠른 반복 가능
- Apache 2.0 라이선스 호환
개요
karpathy/autoresearch 패턴을 젬마봇에 적용하여, 젬마봇이 스스로 시스템 프롬프트/파라미터를 실험하고 개선하는 자동화 루프를 구현한다.
autoresearch 핵심 패턴
젬마봇 적용 설계
gemmabot autoresearch서브커맨드로 실행구현 위치
rust/crates/runtime/src/autoresearch.rs(새 모듈)rust/crates/claw-cli/src/main.rs(서브커맨드 추가)관련