Research on Holistic Optimization of Vector DB-LLM Executionfor Streaming On-Device Retrieval-Augmented Generation
이공학학술연구기반구축(R&D) · 글로컬R&D지원
2026년
2340064701
교육부
한국연구재단
경북대학교
이천희
7명
2026.09.01 ~ 2027.02.28
2026.09.01 ~ 2029.08.31
7,500만원
7,500만원
기초연구
대학
대구광역시 북구
정보/통신 > 소프트웨어 > 임베디드 S/W
■ 최종 연구목표: 자원 제약이 있는 온디바이스 환경에서 스트리밍 기반 RAG의 효율적 실행을 위한 벡터 DB-LLM 통합 최적화 시스템 연구 및 개발 ■ 본 연구의 최종 목표를 성공적으로 달성하기 위해 총 연구 기간 3년에 걸쳐 연구 개발을 수행하고자 함▷ 1차년도: 온디바이스 실행을 위한 벡터 DB-LLM 동적 경량화 기술 연구▷ 2차년도: 메모리 관리 및 ...
... - CPU 및 GPU를 동시 고려한 경량 벡터 인덱싱 기법 연구 - 자원 관리 최적화를 위한 적응형 경량 벡터 인덱싱 기법 연구■ 2차년도: 메모리 관리 및 개인화 기반 RAG 시스템 최적화▷ 개요: 벡터 DB와 LLM이 공유하는 메모리 자원을 효율적으로 통합 관리하기 위한 기술, 실시간 스트리밍 데이터를 위한 경량 인덱싱, 개인화된 응답 생성을 위한 피드백 기반 유사도 ...
[활용 계획]■ 개인용 모바일 RAG 시스템 개발▷ 본 과제에서 개발된 시스템을 기반으로 개인용 모바일 RAG 시스템을 개발할 수 있음.▷ 본 기술을 적용하면, 누구나 손쉽게 개인화된 RAG 시스템을 구축할 수 있어, 실질적인 온디바이스 AI 활용을 가능하게 함.■ 사내 RAG 시스템 개발▷ 본 과제에서 개발된 시스템을 기반으로 사내 정보 검색 시스템을 개발할 수 있음.▷ 서버 용량에 ...