A Study on Intelligent Behavior Sequence Analysis Using HMD-based 6DoF Sensor Data and Large Language Models
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066284
교육부
한국연구재단
중앙대학교
노혜지
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
서울특별시 동작구
정보/통신 > 정보이론 > 인공지능
본 연구의 최종 목표는 HMD 기반 6DoF 시계열 센서 데이터와 대형언어모델(LLM)을 결합하여 단순 동작 인식을 넘어 사용자의 행동을 의미와 맥락 수준에서 해석할 수 있는 지능형 행동 이해 프레임워크를 구축하는 것이다. 기존 인간 행동 인식(HAR) 기술이 동작 분류에 머무르는 한계를 극복하고, XR 환경에서 발생하는 머리·손·신체의 복합적인 행동 흐름을 ...
본 연구는 크게 행동 인식 단계와 의미 해석 단계로 구성된다. 행동 인식 단계에서는 HMD 및 컨트롤러로부터 수집되는 머리와 양손의 위치·자세 정보를 포함한 6DoF 시계열 데이터를 활용하여 CNN-LSTM 및 Transformer 기반 모델을 통해 시간적·공간적 특성을 동시에 반영한 행동 인식 모델을 설계한다. 특히 다중 센서 간 상관관계를 학습함으로써 ...
본 연구 결과는 XR 환경에서 사용자 행동을 실시간으로 이해하고 상황에 적응적으로 반응하는 지능형 HCI 기술로 확장 가능하며, 산업 안전 모니터링, VR 교육, 사용자 행동 분석 등 행동의 맥락적 이해가 중요한 다양한 분야에 활용될 수 있다.기술적 측면에서는 센서 기반 수치 데이터와 언어 기반 의미 해석을 결합함으로써 기존 인간 행동 인식 기술의 한계였던 시맨틱 ...