Research on a Dynamic Object-Capturing Robotic Arm via Lightweight Design of a Spiking Neural Network-Based Multimodal LLM
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340052963
교육부
한국연구재단
광운대학교
연선우
1명
2026.03.01 ~ 2026.08.31
2025.09.01 ~ 2026.08.31
600만원
600만원
응용연구
대학
서울특별시 노원구
정보/통신 > 정보이론 > 인공지능
음성 명령 및 RGB 카메라, 움직임에 민감한 DVS 데이터를 SNN 기반 통합 강화학습 알고리즘과 LLM 분석을 경량화된 이벤트 처리 및 로봇팔의 정적 목표 지점 도달/실시간 객체 포착 통합 시스템을 구현·평가
LLM 기반 로봇 동작 생성 모듈 설계 및 로봇 손 제어 체계와 연동 구현RGB 카메라 및 DVS 이벤트 데이터를 입력으로 받아 스파이킹 신경망(SNN) 기반의 경량화 영상 임베딩 및 객체 탐지 모델 설계 및 학습로봇 시스템의 실시간 반응성과 정확도를 SNN기반 LLM 구현을 통해 최적화 가능시스템 전체의 추론 속도 극대화와 전력 효율성 확보를 위한 최적화...
... 효율 극대화: DVS 이벤트를 SNN으로 초저지연 전처리하여 마이크로초 단위로 이벤트 스트림을 압축·요약하고, 필수 정보만 LLM으로 전달해 전체 시스템의 지연시간과 연산 부하를 최소화함엣지-클라우드 하이브리드 아키텍처: 경량화된 SNN 모듈을 엣지 디바이스에서 실행해 실시간 이벤트 처리를 수행하고, 요약된 이벤트만 클라우드 기반 LLM으로 전송해 연산 자원을 효율적으로 분배로봇 반응 ...