Multi-modal Multilingual Language Modeling for Sign Language Translation and Production via Cross-Lingual Transfer Learning
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(기본연구B)
2026년
2710113566
과학기술정보통신부
한국연구재단
연세대학교
김우주
9명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2030.08.31
6,279만원
6,279만원
응용연구
대학
서울특별시 서대문구
정보/통신 > 정보이론 > 프로그래밍 언어/자연어 처리
... 한국수어, 미국수어, 독일수어 등 서로 다른 국가의 수어를 함께 학습하여 공통 의미 표현과 수어권별 고유 표현을 동시에 반영하고, 이를 통해 수어-수어 간 시각언어 전이를 수행한다. 병렬 데이터가 부족한 저자원 수어 환경에서는 자기지도학습과 다중과업 미세조정을 활용하여 Text-to-Sign, Sign-to-Text, Sign-to-Sign, Text-to-Text 등 다국 음성언어·다국수어 ...
... 경로가 활성화되도록 한다. 이를 통해 특정 국가 수어와 음성언어 간 변환을 넘어, 수어-수어 간 시각언어 전이와 다국 음성언어·다국수어 간 다방향 변환이 가능한 구조를 마련한다. 아울러 병렬 데이터가 부족한 저자원 수어 환경을 고려하여 자기지도학습과 다중과업 미세조정을 결합한다. Text-to-Sign, Sign-to-Text, Sign-to-Sign, Text-to-Text 과업을 함께 학습하고, ...
... 수어 번역·생성 통합 프레임워크, 다국수어 전이 기술, 저자원 다방향 학습 전략, 실사형 수어 영상 생성 기술은 단일 연구 성과에 머무르지 않고 API, 웹 서비스, 모바일 앱, 교육 플랫폼, 영상 콘텐츠 변환 서비스, 공공 안내 시스템 등 다양한 응용 서비스로 확장될 수 있다. 특히 수어 입력을 텍스트로 변환하거나 텍스트·음성 정보를 실제 사용자가 이해 가능한 수어 영상으로 ...