문샷, AI 아키텍처 근본적으로 개선한 ‘주의 잔차’ 공개

대형언어모델LLM의 성능을 끌어올리기 위해 단순한 알고리즘 개선을 넘어 모델 구조 자체를 근본적으로 재설계하려는 시도가 본격화하고 있다. 문샷 AI 연구진은 15일현지시간 기존 트랜스포머 구조의 핵심 요소였던 잔차 연결Residual connection을 대체하는 새로운 방식인 ‘주의 잔차AttnRes·Attention Residuals’를 공개했다.잔차 연결은 신경망의 층이 깊어질수록 앞부분에서 만들어진 핵심 정보가 점점 약해지고, 학습 신호인 기울기가 사라지면서 오히려 성능이 떨어지는 문제를 해결하기 위해 고안된