A Computational Theory Inspired Framework for Diagnosing and Mitigating Long-context Reasoning Failures in Language Models
이공학학술연구기반구축(R&D) · 박사과정생연구장려금지원
2026년
2340065666
교육부
한국연구재단
연세대학교
진현동
1명
2026.09.01 ~ 2027.02.28
2026.09.01 ~ 2028.08.31
1,250만원
1,250만원
기초연구
대학
서울특별시 서대문구
정보/통신 > 정보이론 > 인공지능
본 연구개발과제의 최종 목표는 위치 인코딩이 거대언어모델의 긴 문맥 정보 활용과 생성 안정성에 미치는 영향을 이론적 및 실증적으로 분석하고 이를 바탕으로 긴 문맥 환경에서 나타나는 대표적 실패 양상인 중간 맥락 정보 손실 및 반복 생성 현상을 체계적으로 진단하고 완화할 수 있는 위치 정보 기반 프레임워크를 구축하는 데 있다. 이를 위해 1차년도에는 위치 조...
연구개발과제는 2개 연차에 걸쳐 4개 세부주제로 추진된다. 1차년도는 긴 문맥 실패의 특성화와 평가 기반 구축에 초점을 둔다. 우선 중간 맥락 정보 손실과 반복 생성 현상을 대표적 실패 유형으로 정의하고 정답 정보의 위치, 정보 간 거리, 문맥 길이, 불필요한 정보 비율 등 다양한 입력 조건을 체계적으로 조절해 성능 저하 양상을 분석한다. 이를 통해 긴 문...
1) 연구결과의 중요성 및 향후 진로계획 본 연구는 트랜스포머의 위치 정보 처리 방식과 긴 문맥 환경에서의 실패 양상 사이의 관계를 분석함으로써 거대언어모델의 장문 처리 한계를 단순한 성능 저하가 아니라 구조적 문제로 이해할 수 있는 기반을 제공한다. 특히 모델의 표현력과 정보 처리 한계를 이론적으로 설명하고 형식언어 및 계산이론의 관점을 실제 학습 모델의...