Activation Function (활성화 함수)

신경망이 복잡한 패턴을 학습할 수 있게 해주는 핵심 요소입니다.

주요 종류

• ReLU: 음수는 0, 양수는 그대로 (가장 많이 사용)
• Sigmoid: 0~1 사이 값으로 변환
• Tanh: -1~1 사이 값으로 변환
• GELU: GPT, BERT 등에서 사용
• Softmax: 출력을 확률 분포로 변환

왜 필요한가?

활성화 함수가 없으면 신경망은 단순한 선형 변환에 불과합니다.