Lightweight Inference and Hallucination Mitigation for On-Device Inference Optimization of Multimodal Large Language Models
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066474
교육부
한국연구재단
부산대학교
김소현
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
부산광역시 금정구
정보/통신 > 정보이론 > 인공지능
멀티모달 대형 언어 모델(MLLM)의 온디바이스 추론 과정에서 연산량과 메모리 사용량을 효과적으로 줄이면서도 성능 저하와 object hallucination을 최소화할 수 있는 하드웨어 친화적 경량화 기법을 개발하는 것을 최종목표로 함. 이를 위해 visual token pruning을 기반으로 중요 토큰은 유지하고 중복되거나 불확실한 토큰은 선택적으로 ...
본 연구는 멀티모달 대형 언어 모델의 추론 과정에서 시각 입력 토큰 수를 효율적으로 줄여 연산량과 메모리 사용량을 절감하면서도, 정확도 저하와 object hallucination을 최소화할 수 있는 경량 추론 기법 개발을 목표로 함. 1단계에서는 visual token pruning을 통한 추론 최적화와 마스킹 기반 hallucination 완화 알고리즘...
본 연구를 통해 개발되는 경량 추론 알고리즘은 모바일 AP, NPU 기반 SoC, 로봇 엣지 디바이스 등 연산 자원이 제한된 다양한 온디바이스 플랫폼에서 활용 가능한 멀티모달 AI 최적화 기술로 적용될 수 있음. 특히 visual token pruning과 hallucination 완화 기법을 결합함으로써, 단순히 연산량과 메모리 사용량을 줄이는 수준을 넘...