Development of Transformer Acceleration Solution Including Quantization and Scheduling Techniques for LLM
민관공동투자반도체고급인력양성 · 민관공동투자반도체고급인력양성(R&D)
2026년
2410017185
산업통상부
한국산업기술기획평가원
서울과학기술대학교산학협력단
김현
8명
2026.01.01 ~ 2026.12.31
2024.04.01 ~ 2026.12.31
1.5억원
1.9억원
기초연구
대학
서울특별시 노원구
정보/통신 > 정보이론 > 인공지능
[최종목표]ㅇ 초거대 언어모델을 위한 양자화 기술 및 스케줄링 기법을 포함하는 Transformer 가속 솔루션 개발[연구 개발 결과물]ㅇ혼합 정밀도 양자화의 scale 학습을 위한 fine-tuning 알고리즘 (SW)ㅇ HW 구현을 위한 통합 알고리즘이 탑재된 참조 C 코드 (SW)ㅇ성능 제약과 정확도 저하 간의 trade-off를 고려한 최적의 양자화...
... PIM 기반 솔루션 개발ㅇ NPU-PIM 통합 환경 검증ㅇ 하드웨어 성능 저하를 최소화하는 전용 가속 솔루션 개발 ㅇ 방대한 언어모델 추론 작업에서 형성되는 예외 데이터 처리를 위한 시스템 레벨 최적화 기법 고안 ㅇ 양자화 과정에서 발생하는 latency overhead 최소화를 위한 효율적인 데이터 매핑 또는 연산 스케줄링 기술 개발o 혼합 정밀도를 사용하는 post-training ...
... 알고리즘이 탐재된 참조 C 코드ㅇ LLM의 저정밀도 post-training 양자화 기법ㅇ 파라미터 효율적 fine-tuning을 통한 저정밀도 양자화의 scale 학습 알고리즘ㅇ 타겟 시스템에 적합한 양자화 전용 가속 솔루션 프레임워크 개발ㅇ 양자화 연산을 고려한 추론용 LLM 가속기 구조ㅇ 다양한 LLM 구조 및 경량화 기법에 적응적인 이기종 HW 플랫폼 컴파일러ㅇ 우수한 확장성을 ...