MS, '시스템 프롬프트'를 매개변수에 내재화하는 프레임워크 공개

기업들이 대형언어모델LLM을 실제 서비스에 적용하는 과정에서 가장 큰 부담 중 하나는 ‘길고 복잡한 시스템 프롬프트’다. 사내 정책, 안전 규칙, 전문 지식 등을 매번 입력해야 하다 보니 응답 지연과 비용이 급증하는 문제가 발생한다. 마이크로소프트MS 연구진은 26일현지시간 시스템 프롬프트 반복에 따른 성능 저하를 방지하는 새로운 학습 프레임워크 ‘온폴리시 컨텍스트 증류OPCD·OnPolicy Context Distillation’를 온라인 아카이브를 통해 공개했다.기업들은 도메인 지식과 고객 정책, 유해 콘텐츠