Development of an Audio-Driven 3D Facial Animation Framework via Probabilistic Expression Distribution Learning and User-Intended Controllable Generation
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(기본연구A)
2026년
2710113735
과학기술정보통신부
한국연구재단
성신여자대학교
정선진
3명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2029.08.31
4,504만원
4,504만원
기초연구
대학
서울특별시 성북구
문화예술체육학 > 콘텐츠 > 캐릭터/만화/애니메이션 콘텐츠
본 연구의 최종 목표는 확률적 표현 분포 모델링 및 사용자 의도 기반 제어를 통해, 동일 음성 입력에 대해 다양한 표정 애니메이션을 생성하면서도 텍스트, 이미지, 비디오 등 직관적 입력으로 세부 표정 요소 단위까지 정밀하게 제어 가능한 음성 기반 3D 얼굴 애니메이션 생성 기술을 개발하는 것이다. 이를 위해, 음성 기반 3D 얼굴 애니메이션 생성을 결정론적...
... 단위의 부분 잠재 벡터로 구조화하여 각 요소가 독립적으로 제어 가능한 표현 공간을 형성하도록 한다. 또한 3D 얼굴 애니메이션 데이터 부족 문제를 해결하기 위해 동적 시간 워핑 기반 표정 전환 데이터 증강 기술을 개발하고, CLIP 기반 교차 모달 정렬을 통해 2D 얼굴 이미지, 비디오로부터 표정 특징을 추출하여 잠재 공간과 정렬하는 전략을 적용한다.2차년도에는 1차년도에서 구축된 잠재 ...
본 연구에서 개발되는 기술은 디지털 휴먼, 게임 NPC, 영화·애니메이션 더빙, 메타버스 아바타 등 고표현력 얼굴 애니메이션이 요구되는 산업 전반에 직접 적용 가능한 핵심 기반 기술로 활용될 수 있다.연구 성과는 우선적으로 디지털 휴먼 및 캐릭터 애니메이션 제작 파이프라인의 자동화 및 고도화에 활용될 수 있다. 기존 얼굴 애니메이션 제작은 전문가의 수작업에 크게 ...