적응형 KV 복원을 통한 장문 LLM 추론 메모리 절감 연구

연구목표

본 연구의 최종 목표는 장문 LLM 추론에서 KV cache 절감 이후 발생하는 정보 손실을 진단·복원·제어하는 원리를 규명하고, 이를 위한 적응형 KV 복원 기술을 개발하는 것이다. 장문 LLM 추론에서는 문맥 길이에 비례해 증가하는 KV cache가 GPU 메모리 사용량과 동시 처리량을 제한하는 핵심 병목으로 작용한다. 기존 KV pruning, evi...