앨런AI연구소, 트랜스포머와 RNN 결합한 7B 모델 ‘올모 하이브리드’ 오픈소스로 공개

글로벌 인공지능 연구기관 美 앨런 인공지능 연구소Allen Institute for AI, 이하 AI2가 트랜스포머와 순환신경망RNN을 결합한 70억7B 파라미터 규모의 완전 오픈 하이브리드 언어모델 ‘올모 하이브리드Olmo Hybrid’를 지난 5일현지시간 오픈소스로 공개했다.AI2 연구진은 이번 모델이 기존 트랜스포머 기반 모델과 동일한 규모에서 진행된 통제된 비교 실험에서 더 높은 데이터 효율성과 개선된 장문 컨텍스트 처리 능력을 보여줬다고 설명했다.특히, Olmo Hybrid는 AI2가 이전에 공개한 ‘올모