Operator-CompositionBased Theoretical Analysis of Deep Neural Networks: Focusing on the Transformer(the Core Architecture of LLM)
집단연구지원(R&D) · 기초연구실 심화형
2026년
2710110535
과학기술정보통신부
한국연구재단
경북대학교
문성환
22명
2026.07.01 ~ 2027.06.30
2026.07.01 ~ 2029.06.30
5억원
5억원
기초연구
대학
대구광역시 북구
수학 > 응용수학 > 인공지능수학/데이터사이언스수학
본 과제의 최종목표는 트랜스포머(Transformer, Attention 기반 적층 구조)를 '연산자 합성'으로 재정의하고, 모듈→블록→적층으로 확장 가능한 조립형(Composable) 분석 체계를 완성하는 것이다. 이를 위해 (1) Embedding/Attention/FFN/Residual/Normalization 등 핵심 모듈을 연산자·커널·비선형 사상...
본 과제의 연구개발내용은 Transformer를 Attention, FFN, normalization, Residual 등 기본 모듈로 분해하고 각 모듈을 하나의 연산 단위로 해석한 뒤, 층(block) 단위로 조립하고 L층 적층을 연속 합성으로 표현하는 '조립 가능한 분석 체계'를 구축하는 것이다. 모듈별 결과는 Encoder/Decoder 적층 합성 ...
본 과제의 연구개발성과 활용계획 및 기대효과는 Transformer 기반 인공지능 모델을 분석 가능한 수학적 대상으로 전환함으로써, 이론·설계·검증 전반에 걸친 구조적 한계를 해소하는 데 있다. 먼저 본 연구에서 도출되는 모듈 단위 정리, 적층 합성 규칙, 정량 경계식, 검증 프로토콜은 트렌스포머를 블랙박스가 아닌 조건,결론,한계가 명시된 구조물로 이해하게 하는 ...