RFC-001: Multi-LoRA 어댑터 런타임 스왑 전략

[umyunsang]

배경

현재 GovOn은 vLLM Multi-LoRA 서빙으로 civil-adapter와 legal-adapter를 per-request로 attach하고 있다 (PR #511). 향후 어댑터가 3개 이상으로 늘어날 때 런타임 메모리 관리와 스왑 전략을 미리 정의할 필요가 있다.

현재 구조

• EXAONE 4.0-32B-AWQ 베이스 + LoRA r16 어댑터 2개
• vLLM --enable-lora 플래그로 Multi-LoRA 활성화
• ADAPTER_PATHS 환경변수로 어댑터 경로 지정

논의 사항

1. 최대 동시 로드 어댑터 수: GPU 메모리 48GB 기준 몇 개까지 안전한가?
2. LRU 스왑: 자주 안 쓰는 어댑터를 unload하는 전략이 필요한가?
3. 어댑터 버전 관리: HuggingFace Hub revision vs 로컬 경로 혼용 정책
4. fallback 전략: 어댑터 로드 실패 시 베이스 모델로 fallback할 것인가?

관련 자료

• ADR-003: vLLM 기반 로컬 추론 런타임 유지
• PR feat: #468 vLLM Multi-LoRA 서빙 통합 및 draft_civil_response 어댑터 연결 #511: vLLM Multi-LoRA 서빙 통합
• vLLM Multi-LoRA 문서

의견을 남겨주세요

각 항목에 대한 의견이나 대안을 자유롭게 코멘트해 주세요.