프롬프트중급
Top-p
뉴클리어스 샘플링 · Top-p / Nucleus Sampling
누적 확률이 p 이하인 토큰들 중에서만 다음 토큰을 선택하는 샘플링 방법
상세 설명
Top-p (Nucleus Sampling)
Temperature와 함께 LLM 출력을 조절하는 파라미터입니다.
작동 원리
- 다음 토큰 후보를 확률 높은 순으로 정렬
- 누적 확률이 p에 도달할 때까지의 토큰만 후보로 유지
- 해당 후보 중에서 샘플링
예시 (Top-p = 0.9)
- "the"(50%) + "a"(25%) + "an"(15%) = 90%
- 이 3개 중에서만 선택, 나머지 제외
사용
- 0.1: 가장 확실한 토큰만
- 0.9: 대부분의 합리적 토큰 포함
- 1.0: 모든 토큰 고려 (기본값)
Temperature vs Top-p
보통 둘 중 하나만 조절하는 것을 권장
태그
#LLM#샘플링#생성