Dropout (드롭아웃)

신경망의 "과적합 방지약"입니다.

원리

학습 시 매 단계마다 뉴런의 일부(보통 20-50%)를 무작위로 꺼버림
→ 특정 뉴런에 의존하지 않고 다양한 특징을 학습

비유

시험 공부할 때 특정 참고서 하나만 보지 않고, 랜덤으로 다양한 자료를 보는 것

효과

• 과적합 감소
• 일반화 성능 향상
• 앙상블 효과

참고

추론(사용) 시에는 모든 뉴런을 활성화합니다.