Distillation (지식 증류)

선생님 모델(큰 모델)의 "지식"을 학생 모델(작은 모델)에게 전수하는 개념입니다.

프로세스

1. 큰 모델(teacher)의 출력 확보
2. 작은 모델(student)이 teacher의 출력을 모방하도록 학습
3. 작은 모델도 유사한 성능 달성

효과

10배 이상 작은 모델이 원본의 90%+ 성능 달성