[지디넷코리아]정부가 독자 인공지능(AI) 파운데이션 모델 프로젝트 2차 단계평가에 들어가면서 평가체계 전반을 정교화해야 한다는 목소리가 커지고 있다. 벤치마크 점수뿐 아니라 모델이 답하는 데 들어가는 토큰과 추론 시간·비용, 한국어 데이터 활용 능력, 산업 현장 적용 가능성까지 구체적으로 봐야 한다는 지적이다.7일 IT 업계에 따르면 정부는 2차 평가에서도 벤치마크 평가와 전문가 평가, 사용자 평가 등 기존 단계평가 틀을 유지할 방침이다. 글로벌 주요 리더보드에 활용되는 벤치마크를 선정하고, 전문가 평가에서는 모델 독자성을 세분화해 검증하는 방안도 검토하고 있다.
업계에서는 초기 데이터와 학습 로그를 보유했는지, 개발 과정서 발생한 문제를 외부 기술에 의존하지 않고 자체적으로 해결할 수 있는지가 독자성 판단 핵심 기준이 될 것이란 분위기다. 이는 1차 평가 과정서 독자 모델 정의와 평가 기준을 둘러싼 논란을 줄이려는 조치다.
다만 2차 평가가 또다시 성능 점수 중심으로 흐를 경우 독파