핵심 요약
수십억~수백억 파라미터를 보유한 거대 언어 모델(LLM)의 완전 파인튜닝은 막대한 GPU VRAM과 연산 자원을 요구한다. LoRA는 저순위 행렬 분해를 통해 업데이트할 파라미터 수를 대폭 축소하며, 가중치 동결로 옵티마이저 상태 메모리 부담을 줄인다. QLoRA는 모델 가중치 자체를 4비트로 양자화해 추가적인 메모리 절감을 실현한다. 그러나 저순위 행렬 분해는 복잡한 지식 습득 작업에서 표현력 한계가 존재한다.
완전 파인튜닝 메모리 병목
- 7B 모델의 경우 FP16 기준 모델 가중치가 약 14GB, 옵티마이저 상태는 28GB 이상 필요하다.
- 그래디언트와 활성화 메모리까지 포함하면 80GB 이상의 VRAM 요구로 인해 A100/H100 GPU 여러 대 병렬 환경 없이는 로컬 파인튜닝이 어렵다.
LoRA의 원리: 저순위 행렬 분해
- 사전 학습된 가중치 W₀는 완전 동결하며 업데이트하지 않는다.
- ΔW, 즉 가중치 변화량을 두 저순위 행렬 A, B의 곱으로 표현한다: ΔW = B × A
- 예: 4,096×4,096 선형 계층에 r=8 LoRA 적용 시 파라미터는 약 0.39% 수준으로 줄어든다.
- 이로 인해 옵티마이저 및 그래디언트 메모리가 99% 이상 절감된다.
가중치 병합과 추론 지연 시간 없음
- 학습 완료 후 B × A를 기존 가중치 W₀에 병합해, 추론 시 추가 연산 지연이 없다.
- 동일한 모델 아키텍처와 추론 속도를 유지함과 동시에 멀티 테넌트 서빙 구조도 가능하다.
QLoRA의 혁신: 4비트 NF4 양자화
- 베이스 모델 가중치 자체를 4비트 NF4 타입으로 양자화한다.
- 이중 양자화(Double Quantization)와 페이징드 옵티마이저 기법을 적용해 대형 모델도 단일 GPU에서 파인튜닝할 수 있다.
- 65B 파라미터 모델도 48GB GPU 한 장에서 성능 저하 없이 가능하다.
저순위 분해 한계 및 실무 고려사항
- 낮은 랭크(r=4~16) 설정 시 정형화된 작업에 유리하나, 외국어나 깊은 도메인 지식 주입 시 표현력 부족 현상이 나타난다.
- 랭크(r)와 스케일링 팩터(alpha) 비율 조절, 어댑터 대상 계층 확장(Attention뿐 아니라 MLP 포함)이 필요하다.
- 복잡한 추론 및 코딩 작업에선 완전 파인튜닝 대비 성능 열세 현상이 보고된다.
실무 유의점
- LoRA/QLoRA는 메모리 및 연산 자원 측면에서 효율적이나, 표현력과 범용성 면에서 한계가 있으므로 작업 목적과 도메인을 고려해 랭크와 적용 계층을 신중히 설정해야 한다.
- 베이스 모델의 기본 지식 기반 위에서 파인튜닝 시 출력 형식 교정 등 제한적 목적에 적합하다.