Scaling Law (스케일링 법칙)

AI 모델의 성능을 예측할 수 있게 해주는 법칙입니다.

핵심 발견 (OpenAI, 2020)

• 모델 크기 ↑ → 성능 ↑ (멱법칙)
• 데이터양 ↑ → 성능 ↑
• 연산량 ↑ → 성능 ↑
• 세 요소를 균형 있게 키워야 효율적

Chinchilla 법칙 (2022)

최적 데이터 토큰 수 ≈ 파라미터 수 × 20
→ 기존보다 더 작은 모델 + 더 많은 데이터가 효율적

영향

GPT-4, Claude 등 대형 모델 개발의 이론적 근거
→ "더 크게 만들면 더 잘한다"는 확신