기법/방법론중급
Loss Function
손실 함수 · Loss Function
모델의 예측값과 실제값 사이의 차이를 수치화하는 함수
상세 설명
Loss Function (손실 함수)
모델이 "얼마나 틀렸는지"를 측정하는 함수입니다. 학습의 목표는 이 값을 최소화하는 것입니다.
주요 손실 함수
- MSE: 회귀 문제 (실수값 예측)
- Cross-Entropy: 분류 문제
- Binary Cross-Entropy: 이진 분류
- Contrastive Loss: 대조 학습
LLM에서
다음 토큰 예측의 Cross-Entropy Loss를 최소화
→ "이 문장 다음에 올 단어"를 잘 맞추도록 학습
태그
#학습#최적화#수학