A Study on Optimization and Communication Efficiency in Pipeline Parallelism for Large-Scale Distributed Training
이공학학술연구기반구축(R&D) · 석사과정생연구장려금지원
2026년
2340066359
교육부
한국연구재단
포항공과대학교
정현지
1명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
1,200만원
1,200만원
응용연구
대학
경상북도 포항시
정보/통신 > 정보이론 > 인공지능
본 연구의 목표는 대규모 분산 학습 환경, 특히 파이프라인 병렬화에서 발생하는 최적화 및 통신 병목을 이론적으로 규명하고, 이를 근본적으로 해결할 수 있는 강건한 최적화 알고리즘 및 동적 통신 압축 기법을 설계하는 것입니다. 구체적으로는 다음 두 가지 방향의 연구를 수행하고자 합니다.먼저 비동기 파이프라인 병렬화 환경에서 발생하는 최적화 병목의 핵심 원인인...
[소주제 1. 최적화 이론 기반의 그래디언트 지연 강건 기술 개발] ― 비동기 파이프라인 병렬화 환경에서 발생하는 최적화 왜곡을 규명하고 이를 해결할 수 있는 이론 기반 알고리즘을 개발합니다. 기존에는 그래디언트 지연 문제를 완화하기 위해 이를 단순한 수치적 노이즈로 간주하고, 지연된 그래디언트를 예측[7]하거나 보상[8,9,10]하는 방식의 기법들이 주로...
... 규명하고 이를 완화하는 방법론을 제시함으로써, 차세대 인공지능 모델 학습의 효율성을 근본적으로 향상시키는 데 기여할 것으로 기대됩니다. 특히 이는 극한의 파이프라인 병렬화를 가능하게 함으로써, 클라우드뿐만 아니라 엣지 디바이스, 또는 지리적으로 분산된 저대역폭 환경에서도 효율적인 협업 학습을 가능하게 하는 핵심 기술로 활용될 수 있습니다. 이는 대규모 데이터센터 중심의 학습 패러다임을 ...