Development and Lightweight Optimization of a Multimodal Foundation Model for Real-Time Deepfake Video Detection
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066411
교육부
한국연구재단
가천대학교산학협력단
연유성
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
경기도 성남시
정보/통신 > 정보이론 > 인공지능
○ 최종목표- 실시간 딥페이크 영상 탐지를 위한 시청각-언어 기반 멀티모달 모델 및 경량화 기술 개발○ 세부목표- 기보유 시청각 기반 멀티모달 파운데이션 모델이 언어적 의미 단서를 반영할 수 있도록 시청각-언어 모델로 고도화함- 고도화된 시청각-언어 모델의 탐지 성능을 유지하면서도 연산량과 GPU 메모리 사용량을 줄일 수 있는 경량 학습·추론 기술을 개발함...
○ 연구개발의 필요성- 기존 시청각 기반 멀티모달 탐지 구조는 발화 내용과 화자 고유의 발화 습관과 같은 언어 기반 의미론적 정보 반영에 한계가 있으며, 이를 단순 전사 텍스트로 확장하는 방식 또한 음성 신호에 내재된 발화 특성을 충분히 반영하기 어려움- 최근 딥페이크 생성물은 음성과 움직임이 정교해져 기존 시청각 기반 탐지만으로는 한계가 있으므로, 음성의...
○ 활용계획- 본 연구에서 개발하는 시청각-언어 기반 딥페이크 탐지 모델은 기존 시청각 중심 탐지 구조가 반영하지 못했던 발화 내용과 화자 고유의 발화 습관 등 의미론적 정보를 함께 반영할 수 있어 고도화된 딥페이크 탐지 기술로 활용할 수 있음- 또한 경량화 기법을 통해 온디바이스 및 엣지 환경에서도 활용 가능한 딥페이크 탐지 기술로 확장하여, 실시간 적용...