Word Embedding (워드 임베딩)

"왕" - "남자" + "여자" = "여왕"처럼 단어 간 의미 관계를 벡터 연산으로 표현합니다.

역사

• Word2Vec (2013): 단어 임베딩의 시작, Google
• GloVe (2014): 전역 통계 기반, Stanford
• FastText (2016): 서브워드 기반, Meta

원리

비슷한 문맥에서 사용되는 단어는 비슷한 벡터로 표현

현재

정적 임베딩(Word2Vec) → 문맥적 임베딩(BERT, GPT)으로 진화
같은 단어라도 문맥에 따라 다른 벡터 생성