모델/아키텍처입문
Parameter
파라미터 · Parameter
신경망이 학습을 통해 자동으로 조정하는 내부 값 (가중치와 편향)
상세 설명
Parameter (파라미터)
모델의 "지식"이 저장되는 곳입니다.
모델 크기 비교
| 모델 | 파라미터 수 |
|---|---|
| BERT | 3.4억 |
| GPT-3 | 1,750억 |
| LLaMA 3 | 4,050억 |
| GPT-4 | 추정 1.8조 |
파라미터 vs 하이퍼파라미터
- 파라미터: 모델이 학습으로 결정 (가중치)
- 하이퍼파라미터: 사람이 미리 설정 (학습률)
비용 관계
파라미터가 많을수록 학습/추론에 더 많은 GPU와 비용 필요
태그
#모델#크기#기초