내장형 지식을 제거한 초소형 언어모델 개발

연구목표

□ 최종목표본 연구의 최종목표는 이미 학습된 거대 언어모델(LLM)의 파라미터 내부에 저장된 방대한 사실적 지식을 구조적으로 약화·제거하고, 문장 구성, 구문 처리, 대화 흐름, 문맥 통합 등 기본 언어능력만을 보존한 초소형 언어엔진 MicroLM(μLM)을 개발하는 것이다. 기존 LLM은 사실 지식과 언어능력이 하나의 거대 파라미터 공간에 결합되어 있어 ...