노타(대표 채명수)는 허깅페이스를 통해 문샷 AI의 '키미 K3'를 경량화한 모델 2종을 에 공개하며, GPU 사용량을 최대 절반까지 줄였다고 5일 밝혔다.
자체 개발한 '비균일 전문가 프루닝' 기술로 모델을 경량화, 기존 엔비디아 GPU 'B300' 8장이 필요했던 키미 K3를 각각 6장, 4장만으로 구동할 수 있도록 줄였다.
비균일 전문가 프루닝은 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고, 기여도가 낮은 모듈만 선별적으로 제거하는 방식이다. 이를 통해 전문가 모듈을 각각 25%, 50%까지 축소했다. 모든 층을