Skip to content

feat: autoresearch 자기개선 루프 엔진 #2

@pola2025

Description

@pola2025

개요

karpathy/autoresearch 패턴을 젬마봇에 적용하여, 젬마봇이 스스로 시스템 프롬프트/파라미터를 실험하고 개선하는 자동화 루프를 구현한다.

autoresearch 핵심 패턴

  • 단일 파일 수정 → 실험 실행 → 메트릭 측정 → 개선이면 유지/아니면 롤백
  • 무인 무한 반복

젬마봇 적용 설계

  1. 실험 대상: 시스템 프롬프트, temperature, top_p, max_tokens 등 생성 파라미터
  2. 메트릭: 응답 품질 점수 (자기평가 + 벤치마크 정답률)
  3. 루프: gemmabot autoresearch 서브커맨드로 실행
    • 파라미터 변형 생성
    • 벤치마크 셋 실행 (한국어/영어/코드 각 10문제)
    • 점수 비교 → 개선이면 config에 반영, 아니면 롤백
    • results.tsv에 기록
    • 반복

구현 위치

  • rust/crates/runtime/src/autoresearch.rs (새 모듈)
  • rust/crates/claw-cli/src/main.rs (서브커맨드 추가)

관련

  • Gemma 4 e4b (67 tok/s) 환경에서 빠른 반복 가능
  • Apache 2.0 라이선스 호환

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions