Token (토큰)

LLM의 "글자" 단위입니다. 정확히는 단어보다 작을 수도 있습니다.

토큰 크기 (영어 기준)

• 1 토큰 ≈ 4글자 ≈ 0.75 단어
• "Hello, world!" ≈ 4 토큰

한국어 특수성

한국어는 영어보다 토큰을 더 많이 사용
"안녕하세요" = 3-5 토큰 (모델마다 다름)

비용 영향

• API 과금: 입력/출력 토큰 수 기준
• GPT-4: 입력 $30/1M, 출력 $60/1M 토큰
• Claude: 입력 $15/1M, 출력 $75/1M 토큰

Context Window

모델이 한 번에 처리 가능한 최대 토큰 수