시각 표현이 놓치는 정보 보완을 위한 이중 코드북 기반 시각 토크나이저

연구목표

본 연구의 최종 목표는 기존 모델의 표현이 잘 보존하는 의미 정보를 유지하면서도, 시각적 세부 정보의 손실을 보완할 수 있는 dual codebook 기반 시각 토크나이저를 설계하는 것이다. 구체적으로는 기존 semantic representation이 학습 과정에서 놓치기 쉬운 세부 정보를 residual representation으로 분리해 보존함으로써...