Do Large Language Models Truly Understand Causality? A Ground-up Empirical Analysis via Circuit Discovery and Causal Discovery
이공학학술연구기반구축(R&D) · 박사과정생연구장려금지원
2026년
2340065137
교육부
한국연구재단
서울대학교
김주현
1명
2026.09.01 ~ 2027.02.28
2026.09.01 ~ 2027.08.31
1,250만원
1,250만원
기초연구
대학
서울특별시 관악구
정보/통신 > 정보이론 > 인공지능
본 연구의 최종 목표는 대규모 언어모델(LLM)이 인과관계(causality)를 어느 수준까지 이해하는지를 모델 내부 메커니즘 수준에서 실증적으로 규명하고, 이를 바탕으로 LLM의 인과 관계 이해를 실질적으로 향상시키는 방법론을 제안하는 것이다. 특히, CausalGPT, CausalLM, CLadder, CaLM, CORR2CAUSE 등 인과적 LLM과 ...
본 연구는 LLM이 인과적 질문과 비인과적 질문을 처리할 때 모델 내부의 회로 구조가 어떻게 달라지는지를 관찰하고, 그 차이를 인과 그래프로 정량화하는 3단계 분석 파이프라인을 핵심 방법론으로 한다.Stage 1: Automatic Circuit Discovery ― 인과 추론 회로 식별LLM은 수십 개의 레이어와 다수의 attention head, MLP...
본 연구의 성과는 학술적·산업적으로 다층적으로 활용될 수 있다.활용계획 측면에서, 첫째로 LLM 학습 및 파인튜닝 방법론의 혁신을 들 수 있다. 기존의 LLM 파인튜닝은 입출력 성능(loss, accuracy)만을 최적화 목표로 삼지만, 본 연구의 프레임워크를 활용하면 내부 회로 구조의 변화까지 모니터링하며 fine tuning 과정에서 인과 회로가 강화되...