Context-Aware Hybrid Haptic Effect Generation from Audiovisual Sources Through Multimodal Learning
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(도전형)
2026년
2710112545
과학기술정보통신부
한국연구재단
포항공과대학교
최승문
5명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2029.08.31
9,086만원
9,086만원
기초연구
대학
경상북도 포항시
정보/통신 > 디지털 방송·콘텐츠 > 디지털방송 실감방송
본 연구의 최종목표는 시청각 및 텍스트 기반의 다중모달 입력과 장면의 문맥 정보를 통합적으로 이해하여, 진동 효과(Vibrotactile Effect)와 동작 효과(Motion Effect)를 포함하는 복합 햅틱 효과(Hybrid Haptic Effect)를 자동 생성하는 학습 기반 생성 모델을 최초로 개발하는 것이다. 기존 햅틱 생성 방식은 시청각 신호를...
본연구는 시청각/문맥-햅틱 관계를 이해하고 햅틱 생성 기술을 개발한다. 햅틱 신호는 단일 햅틱 신호부터 복합 생성 신호로 신호 대상이 확장되며, 각 생성 기술은 다음 세 연구 흐름을 따른다: (1) 데이터셋 구축, (2) 생성 모델 설계 및 학습, (3) 인간 참여 기반 최적화. [연구내용1] 다중모달-단일·복합 햅틱 데이터셋 구축: 영상·음향·텍스트·문맥...
... 가능하기에, 궁극적으로 전세계적으로 문화 소비를 촉진한다.학문적으로는 다중모달 생성, HCI, 햅틱 인터페이스 분야의 융합을 촉진하며, 비결정적 생성과 복합 감각 결합 학습이라는 난제에 대한 새로운 접근을 제시한다. 산업적으로는 콘텐츠 제작 및 엔터테인먼트 분야 전반에 적용 가능한 범용 기술로 확장되어, 다중감각 콘텐츠 제작 방식의 전환을 견인할 것으로 기대된다.