Contrastive Learning (대조 학습)

라벨 없이 데이터의 표현을 학습하는 강력한 기법입니다.

원리

• 양성 쌍: 같은 이미지의 다른 변환 → 가까이
• 음성 쌍: 다른 이미지 → 멀리

대표 모델

• SimCLR: Google, 이미지 대조 학습
• CLIP: OpenAI, 텍스트-이미지 대조 학습
• MoCo: Meta, 모멘텀 기반

CLIP의 영향

텍스트로 이미지를 검색하는 능력 → DALL-E, Stable Diffusion의 기반