기법/방법론중급
Batch Size
배치 크기 · Batch Size
모델 학습 시 한 번에 처리하는 데이터 샘플의 수
상세 설명
Batch Size (배치 크기)
학습 효율성과 성능에 직접적인 영향을 미치는 하이퍼파라미터입니다.
영향
- 큰 배치: 학습 안정적, GPU 효율 높음, 메모리 많이 필요
- 작은 배치: 일반화 좋음, 노이즈 활용, 메모리 적게 필요
일반적인 값
8, 16, 32, 64, 128, 256 (2의 거듭제곱)
LLM 학습
대규모 모델은 수천~수만 배치 크기 사용 (분산 학습)
태그
#학습#하이퍼파라미터#최적화