Computation/Communication-Efficient Adaptation of Foundation Models to New Domains in Federated Learning Environments
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(유형B)
2026년
2710112632
과학기술정보통신부
한국연구재단
한국과학기술원
MOON JAEKYUN
8명
2026.05.01 ~ 2027.04.30
2024.05.01 ~ 2027.04.30
2.4억원
2.4억원
기초연구
대학
대전광역시 유성구
수학 > 응용수학 > 인공지능수학/데이터사이언스수학
본 과제는 \"파운데이션 모델의 도메인 적응 상황에서 연합학습 개인화 알고리즘의 개발과 효율성 향상을 위한 계산 및 통신 효율적인 연합학습 솔루션 개발\"을 최종 목표로 한다. 이를 통해, 서비스 제공자는 대규모 파운데이션 모델을 각 클라이언트의 도메인(의료, 제조, 자율주행 등)에 효과적으로 적응시킴으로써 파운데이션 모델의 강력한 성능을 서비스할 수 있게 되...
첫째, 통신 및 계산 효율적인 연합학습 기술을 개발한다. 구체적으로, 연합학습 상황에서의 통신 부담 절감을 위한 새로운 파라미터 공간 기반의 효율적 기울기 압축 기술을 개발한다. 또한, 연합학습에서의 계산 효율을 높이기 위한 신경망 압축 기술을 개발한다. 해당 기술은 추후 파운데이션 모델을 재학습 없이 효과적으로 압축하고, 적은 양의 통신 비트(bits)만...
- 본 연구의 개발성과는 다양한 네트워크 노드(자율주행차, 병원, 핸드폰 등)에서 사전학습이 완료된 파운데이션 모델을 사용자의 목적에 맞게 개인화하는데 활용될 수 있다. 특히, 이전에 보지 못한 새로운 도메인(의료, 제조, 자율주행 분야)의 데이터에 신속하게 적응하여 사용자가 원하는 목표를 달성하는데 활용될 수 있다.- 본 연구의 개발성과는 많은 계산량 및...