A GUI Agent Framework Using Feedback-based Vision-Language Model Correction and Subgraph Retrieval
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066166
교육부
한국연구재단
명지대학교
이승주
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
기초연구
대학
경기도 용인시
정보/통신 > 정보이론 > 인공지능
본 연구의 최종 목표는 GUI 환경에서 동작하는 Task-Oriented 에이전트의 인식 오류와 장기 의사결정 오류를 동시에 완화할 수 있는 통합 프레임워크를 제안하는 것이다. 이를 위해 VLM 기반 화면 인식, HID 기반 실제 상호작용 피드백, 그래프 기반 상태 표현, 부분 그래프 검색 기반 의사결정 기법을 통합하여, 실제 환경에서 안정적으로 동작하는 ...
본 연구에서는 GUI 환경에서의 에이전트 성능 저하의 주요 원인인 인식 오류 누적과 장기 의사결정 불안정성 문제를 해결하기 위해 세 가지 핵심 모듈을 중심으로 통합 프레임워크를 설계한다.첫째, VLM 기반 화면 인식 결과를 실제 상호작용을 통해 보정하는 perception-action feedback 모듈을 구축한다. 화면에서 탐지된 객체에 대해 HID 입...
본 연구에서 제안하는 GUI 에이전트 프레임워크는 다양한 디지털 환경에서의 자동화 및 지능형 인터페이스 기술에 활용될 수 있다. 웹, 모바일, 데스크탑 환경에서 반복적인 사용자 작업을 자동화하는 시스템에 적용 가능하며, 사용자 인터페이스 기반의 지능형 서비스 구현에 기여할 수 있다.특히 기존의 단순한 규칙 기반 자동화나 강화학습 기반 접근이 가지는 한계를 ...