In-context Learning (맥락 내 학습)

LLM의 가장 놀라운 능력 중 하나입니다.

핵심 개념

모델을 재학습하지 않고, 프롬프트에 몇 가지 예시를 넣는 것만으로 새 작업 수행

Few-shot과의 관계

• In-context Learning이 상위 개념
• Zero-shot, One-shot, Few-shot이 하위 개념

왜 가능한가?

대규모 사전학습 중 다양한 패턴을 학습했기 때문
→ 프롬프트의 패턴을 인식하고 따라하는 능력

한계

컨텍스트 윈도우 크기에 제한됨