[지디넷코리아]노타가 최근 업계 주목을 받는 중국 문샷AI의 초거대 인공지능(AI) 모델 '키미 K3'를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄이는 데 성공했다.
노타는 전문가 모듈을 각각 25%·50% 줄인 키미 K3 경량화 모델 2종을 공개했다고 6일 밝혔다. 2조 8000억 개 매개변수를 갖춘 키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택한 오픈웨이트 모델이다. 이를 구동하려면 엔비디아 최신 고성능 GPU인 B300 8장이 필요해 기업·개발자가 활용하기에 비용과 인프라 부담이 컸다. 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 설계해 일반적인 양자화 방식만으로는 추가 압축 범위가 제한적이라는 문제도 있었다.
노타는 이를 자체 개발한 '비균일 전문가 프루닝' 기술로 해결했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다.