Development of an On-Device LLM Optimization Solution Targeting Mobile NPUs
창업성장기술개발(R&D) · 창업성장기술개발사업(디딤돌)
2026년
2420034208
중소벤처기업부
중소기업기술정보진흥원
(주)옵트에이아이
이재호
6명
2026.07.01 ~ 2026.12.31
2026.07.01 ~ 2027.12.31
6,650만원
8,875만원
개발연구
중소기업
충청북도 청주시
정보/통신 > 정보이론 > 인공지능
본 과제의 최종 목표는 모바일 환경에서 NPU를 활용하여 대규모 언어모델(LLM)을 실시간으로 추론할 수 있는 온디바이스 LLM 최적화 솔루션을 개발하는 것이다. 이를 위해 LG 엑사원 4.0 및 Google Gemma 4 모델을 대상으로 삼성 갤럭시(퀄컴 헥사곤 NPU), 애플 아이폰(애플 뉴럴 엔진), OPPO 파인드(미디어텍 APU) 등 주요 모바일 ...
본 과제의 연구개발 내용은 모바일 NPU 환경에서 LLM을 안정적이고 효율적으로 실행하기 위한 모델 설계, 모델 압축, 학습 기반 보정, 추론 가속화 기술 개발로 구성된다. 우선 퀄컴, 애플, 미디어텍에서 제공하는 NPU SDK를 기반으로 모델 변환, 배포, 추론 및 성능 평가가 자동화된 개발 환경을 구축하여 온디바이스 LLM 최적화 전 주기를 체계화한다....
본 과제에서 확보한 온디바이스 LLM 최적화 기술은 통신사, 디바이스 제조사, 서비스 사업자를 대상으로 즉시 활용 가능하다. 특히 클라우드 기반으로 제공되던 통화 요약 및 개인화 AI 서비스를 모바일 디바이스에서 직접 수행할 수 있어, 지연 시간 감소, 운영 비용 절감, 개인정보 보호 강화 효과를 동시에 달성할 수 있다.연구개발 성과는 모바일 NPU 기반 LLM ...