기법/방법론고급
Self-supervised Learning
자기지도학습 · Self-supervised Learning
라벨 없이 데이터 자체에서 학습 신호를 만들어내는 학습 방법
상세 설명
Self-supervised Learning (자기지도학습)
현대 AI의 핵심 패러다임입니다. LLM, CLIP 등이 이 방식으로 학습합니다.
원리
데이터의 일부를 가리고 나머지로 맞추도록 학습
예시
- LLM: 문장의 다음 단어 예측 (GPT)
- BERT: 문장의 빈칸 채우기
- MAE: 이미지 일부를 가리고 복원
- CLIP: 이미지와 텍스트 쌍 매칭
왜 강력한가?
- 라벨링 불필요 → 거의 무한한 데이터 활용
- 범용적 표현 학습 → 다양한 작업에 전이
태그
#학습#LLM#비전