LoRA (저순위 적응)

대규모 모델을 효율적으로 미세조정할 수 있는 방법입니다.

작동 원리

원본 가중치 W에 작은 행렬 곱 A×B를 추가 학습

장점

• 메모리 사용량 95% 감소
• 학습 속도 향상
• 여러 작업별 LoRA 조합 가능
• 원본 모델 유지

활용

LLaMA, Stable Diffusion 미세조정에 광범위하게 사용