Transformer

2017년 Google에서 발표한 획기적인 신경망 아키텍처입니다. 현대의 대부분의 LLM이 Transformer를 기반으로 합니다.

핵심 개념

• Self-Attention: 입력 데이터의 각 부분이 다른 부분과의 관계를 학습
• 병렬 처리: 순환 신경망(RNN)과 달리 병렬로 처리 가능
• 위치 인코딩: 단어의 순서 정보 보존