모델/아키텍처중급
Activation Function
활성화 함수 · Activation Function
신경망의 뉴런 출력값을 비선형으로 변환하는 함수
상세 설명
Activation Function (활성화 함수)
신경망이 복잡한 패턴을 학습할 수 있게 해주는 핵심 요소입니다.
주요 종류
- ReLU: 음수는 0, 양수는 그대로 (가장 많이 사용)
- Sigmoid: 0~1 사이 값으로 변환
- Tanh: -1~1 사이 값으로 변환
- GELU: GPT, BERT 등에서 사용
- Softmax: 출력을 확률 분포로 변환
왜 필요한가?
활성화 함수가 없으면 신경망은 단순한 선형 변환에 불과합니다.
태그
#신경망#딥러닝#수학