이종 분산 GPU 환경에서 KV-cache 친화적 비동기 LLM 추론 솔루션 개발

연구목표

... 과제의 최종 목표는 이종 분산 GPU 환경에서 KV-cache 친화적 비동기 LLM 추론 솔루션을 개발하여 LLM 추론 처리를 효율화함으로써, AI 서비스 운영자의 추론 비용 절감, 클라우드 운영자의 자원 활용 효율화, 최종 사용자의 성능 향상을 동시에 달성하는 것이다.이를 위해 1) KV-cache 친화적 비동기 추론 엔진(예: vLLM·SGLang 등)을 코드 수정 없이 사이드카 ...