Development of Core Technologies for Consistent and Stable Representations in Large-Scale Multimodal Models
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066311
교육부
한국연구재단
서울대학교산학협력단
배상윤
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
서울특별시 관악구
정보/통신 > 정보이론 > 인공지능
본 연구의 최종 목표는 대규모 멀티모달 모델에서 모달리티 간 상호작용을 기반으로 일관되고 안정적인 내부 표현을 학습할 수 있는 핵심 기술을 개발하는 데 있음. 기존 멀티모달 모델은 높은 성능에도 불구하고 환각과 같은 오류와 내부 표현의 불안정성 문제를 내재하고 있으며, 이는 모델의 신뢰성과 활용성을 제한하는 주요 요인으로 작용함. 특히 이러한 문제는 단순...
본 연구에서는 멀티모달 모델의 내부 표현 및 attention 기반 상호작용을 분석하고 이를 개선하기 위한 연구를 단계적으로 수행함. 먼저, 멀티모달 모델의 attention 지도와 내부 표현을 기반으로 모달리티 간 기여도, 상호 간 간섭, 그리고 layer에 따른 표현 변화 양상을 정량적으로 분석함. 이를 통해 기존에는 명확히 드러나지 않았던 내부 표현 ...
본 연구를 통해 도출되는 멀티모달 내부 표현 분석 및 개선 기술은 모델의 내부 동작 원리를 이해하고 안정성을 향상시키기 위한 핵심 기술로 활용될 수 있음. 특히 attention 구조와 모달리티 간 상호작용을 정량적으로 분석하는 방법은 기존의 성능 중심 평가를 보완하여, 모델의 신뢰성과 해석 가능성을 동시에 향상시키는 기반을 제공함.또한 attention ...