Development of Iterative Counterattack-Guided Prompt Tuning for Robust Vision-Language Models
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(기본연구A)
2026년
2710114195
과학기술정보통신부
한국연구재단
단국대학교산학협력단
김선오
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
4,506만원
4,506만원
기초연구
대학
경기도 용인시
정보/통신 > 정보이론 > 인공지능
본 연구의 최종목표는 자연적 분포 변화와 적대적 교란이 존재하는 실제 환경에서도 비전-언어 모델(VLM)이 안정적으로 동작할 수 있도록, 테스트 시점에서 입력의 시각 표현 보정과 텍스트 프롬프트 적응을 상호보완적으로 결합하는 반복적 카운터어택 기반 프롬프트 튜닝 기술을 개발하는 것이다.최근 VLM은 대규모 이미지-텍스트 학습을 바탕으로 우수한 zero-sh...
본 연구는 반복적 카운터어택 기반 프롬프트 튜닝 기술을 체계적으로 개발하기 위해 다음의 3단계로 추진한다.1단계: TPT-TTC 상호강화형 통합 구조 설계- 세분화 데이터셋, 범용 데이터셋, 자연적 분포 변화 데이터셋 등 20개 이상의 공개 벤치마크를 구성한다.- 정상 성능, 적대적 강인성, OOD 성능, 추론 속도, 메모리 사용량을 함께 평가할 수 있는 ...
본 연구에서 개발하는 반복적 카운터어택 기반 프롬프트 튜닝 기술은 재학습 없이 테스트 시점에서 입력별 보정과 적응을 수행하는 VLM 강인화 모듈로 활용될 수 있다. 이는 배포된 모델을 새로 학습하거나 대규모 데이터로 재조정하지 않고도, 실제 환경에서 발생하는 입력 변화와 교란에 유연하게 대응할 수 있다는 장점을 가진다.활용계획은 다음과 같다.- 고신뢰 멀티...