Sparse Attention 기반 LLM 서빙을 위한 KV 캐시 관리 및 CXL-SSD 활용 최적화 연구

연구목표

Sparse Attention 기반 LLM 서빙 환경에서 발생하는 KV Cache의 메모리 병목과 데이터 이동 지연 문제를 해결하기 위해, CXL-SSD를 활용한 KV Cache 관리 구조를 설계하고 최적화하는 것을 최종 목표로 한다. 이를 통해 long-context 환경에서도 안정적인 성능을 유지할 수 있는 고효율 LLM 서빙 시스템을 구현하고자 한다.