[E2E 테스트 보고] LoRA-First 아키텍처 + 네이티브 Tool Calling 검증 결과 (16/17 통과)

[umyunsang]

개요

PR #561 (네이티브 Tool Calling + AdapterRegistry) → PR #564 (LoRA-First 아키텍처 + E2E 테스트) → PR #566 (API 파라미터 정렬) 작업의 통합 E2E 검증 결과입니다.

테스트 환경: HuggingFace Spaces A100 80GB
테스트 일시: 2026-04-08 03:12 KST
결과: 16/17 통과 (94.1%), 도구 커버리지 8/8 (100%)

---

아키텍처 설계

LoRA-First 파이프라인 (확정)

Step 1: Planner (베이스 모델, LoRA 없음)
  → 네이티브 tool calling으로 LoRA 선택 + 도구 선택
  → tokenizer.apply_chat_template(tools=...) 사용

Step 2: 승인 (Human-in-the-loop)

Step 3 (병렬 실행):
  ├─ LoRA 모델: 학습 형식 프롬프트로 도메인 특화 초안 생성
  ├─ rag_search: FAISS+BM25 하이브리드 검색
  └─ api_lookup: data.go.kr 민원분석 API

Step 4: 베이스 모델 (LoRA 없음): 초안 + 도구 결과 → 최종 답변 합성

Step 5: 멀티턴 대화 (세션 유지)

설계 결정 근거

단계	모델	이유
Planner (도구 선택)	베이스 모델	LoRA 장착 시 네이티브 tool calling 불가
초안 생성	LoRA 모델	학습 형식과 정확히 일치 → 도메인 품질 보장
도구 실행	코드	모델 불필요 (API 호출, DB 검색)
최종 합성	베이스 모델	초안+근거 통합은 LoRA 학습 분포 밖 → 범용 능력 필요

---

E2E 테스트 결과 (17 시나리오, 5 Phase)

Phase 1: 인프라

#	시나리오	결과	시간
1	Health & Profile	✅	0.8s
2	Base Model Generation	✅	2.2s
3	Adapter Registry	✅	0.8s

Phase 2: Agent 파이프라인

#	시나리오	결과	시간	planned_tools
4	Planner Valid Plan	✅	8.5s	draft_civil_response, rag_search, api_lookup
5	Civil LoRA Draft	✅	19.1s	draft_civil_response, rag_search, api_lookup
6	Legal LoRA Evidence	❌	5.5s	패턴 미매칭 (텍스트 300자 생성 성공)
7	Task Type Classification	✅	37.6s	—

Phase 2-1: 법률 4카테고리

#	시나리오	결과	카테고리	학습 데이터
61	민사법	✅	임대차 수선의무	75,624건
62	형사법	✅	개인정보보호법 처벌	47,432건
63	지식재산권	✅	상표권 침해	76,160건
64	판례 해석	✅	부당해고 판례	70,814건

Phase 3-5: API + 어댑터 + 견고성

#	시나리오	결과	시간
8	External API Tools (4/4)	✅	20.1s
9	Sequential Switching (9 req)	✅	154.0s
10	LoRA ID Consistency	✅	1.7s
11	Empty Query 422	✅	1.7s
12	Reject Flow	✅	4.0s
13	Concurrent Isolation (3 parallel)	✅	35.1s

---

도구 커버리지: 8/8 (100%)

도구	용도
draft_civil_response	LoRA 민원 답변 초안
rag_search	로컬 문서 검색
api_lookup	data.go.kr API
append_evidence	Legal LoRA 근거 보강
issue_detector	이슈 탐지
stats_lookup	통계 조회
keyword_analyzer	키워드 분석
demographics_lookup	인구통계

---

LoRA 프롬프트 학습 형식 정렬

런타임 프롬프트를 학습 스크립트의 SYSTEM_PROMPT/Instruction과 동일하게 정렬:

어댑터	학습 SYSTEM_PROMPT
Civil	당신은 대한민국 정부 민원 상담 전문가입니다. 시민의 질문에 정확하고 친절하게 답변해 주세요.
Legal	당신은 대한민국 법률 전문가입니다. 법령 조항과 판례를 정확하게 인용하여 법률 질문에 답변해 주세요.

이전 <thought> 출력 형식 → LoRA 학습 데이터에 없어 베이스 모델 reasoning 트리거 → 토큰 소진 → 빈 텍스트. 제거 후 정상 생성 확인.

---

남은 이슈

1. Scenario 6 — Planner가 follow-up 쿼리에서 append_evidence 대신 draft_civil_response 선택. 프롬프트 강화 필요.
2. RAG Knowledge Base — 공문서/보도자료/매뉴얼 미등록. 문서 등록 시 합성 품질 향상 예상.

---

테스트 실행

GOVON_RUNTIME_URL=https://<space>.hf.space python3 scripts/verify_e2e_tool_calling.py

실시간 로그: tail -f verify_e2e_tool_calling_*.log