기법/방법론고급
Distillation
지식 증류 · Knowledge Distillation
큰 모델의 지식을 작은 모델로 전이해 성능을 유지하면서 크기를 줄이는 기법
상세 설명
Distillation (지식 증류)
선생님 모델(큰 모델)의 "지식"을 학생 모델(작은 모델)에게 전수하는 개념입니다.
프로세스
- 큰 모델(teacher)의 출력 확보
- 작은 모델(student)이 teacher의 출력을 모방하도록 학습
- 작은 모델도 유사한 성능 달성
효과
10배 이상 작은 모델이 원본의 90%+ 성능 달성
태그
#효율성#모델압축