A study on enhancing robustness of VLMs against joint image-text adversarial attacks
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066209
교육부
한국연구재단
전남대학교산학협력단
백승혁
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
광주광역시 북구
정보/통신 > 정보이론 > 인공지능
본 연구의 최종목표는 이미지와 텍스트가 동시에 교란되는 동시 적대적 공격 환경에서도 비전-언어 모델(VLMs)이 안정적인 추론 성능을 유지할 수 있도록, 멀티모달 입력에 대한 강건성 향상 기술을 개발하는 것이다. 기존 적대적 공격 대응 연구가 이미지 또는 텍스트 단일 모달 중심으로 이루어진 반면, VLMs는 두 모달의 정합성과 의미적 상호작용을 기반으로 추...
본 연구에서는 먼저 CLIP encoder 기반의 global-local localization 모듈을 설계하여 공격된 이미지와 텍스트를 각각 patch와 token 단위로 표현하고, 이미지 전체 attention map을 활용해 전역 중요 영역을 파악한다. 이후 patch-token 간 cosine similarity를 계산하여 각 텍스트 token이 이...
... 것으로 기대된다. 학술적 측면에서는 멀티모달 AI 보안과 강건성 연구의 후속 연구를 촉진할 수 있으며, 기술적 측면에서는 실제 산업 및 공공 분야에 적용 가능한 신뢰성 높은 인공지능 시스템 개발의 기초자료로 활용될 수 있다. 연구성과 목표로는 관련 분야 논문 2편, 특허 1편, 소프트웨어 등록 1편을 설정하여 학술성과와 기술사업화 가능성을 함께 확보하고자 한다.