Development of a Safe and Reliable Assistant Through Understanding Request-Information Conflicts
개인기초연구(과기정통부)(R&D) · 우수연구-핵심연구(기본연구B)
2026년
2710114416
과학기술정보통신부
한국연구재단
포항공과대학교
김형훈
6명
2026.09.01 ~ 2027.08.31
2026.09.01 ~ 2027.08.31
6,212만원
6,212만원
기초연구
대학
경상북도 포항시
정보/통신 > 정보이론 > 인공지능
본 연구는 사용자로부터 축적된 정보와 주변 환경을 능동적으로 탐색하여 요청의 수행에 따른 위험 및 상충 가능성을 판단하고, 보다 안전하고 신뢰성 높은 응답을 제공하는 시스템을 개발하는 것을 목표로 한다.
... 중임)을 고려해 이를 수행하기 어렵다고 판단할 수 있다. 요청?정보 상충 벤치마크는 이처럼 외부 정보와 충돌하는 요청에 대해 모델이 요청 수행 여부를 적절히 판단할 수 있는지를 검증하기 위한 데이터셋이다. 본 벤치마크는 RAG 기반으로 구축되며, 다양한 언어모델과 인코더를 평가해 현재 시스템의 한계를 분석하고, 이를 바탕으로 상충 판단에 특화된 인코더를 개발하는 것을 목표로 한다.2단계: ...
연구과제의 활용방안1. 연구적 관점본 연구는 요청?정보 상충을 다각도로 분석할 수 있는 데이터셋, 인코더, 판단 모델, 정보 그래프를 종합적으로 구축한다는 점에서 높은 연구적 가치를 ... 벤치마크 제공- 요청?정보 관계의 상황적 제약 및 전제조건을 반영하는 의미 기반 인코더 개발용 데이터 제공- 위험 탐지·의사결정 과정 분석이 가능한 multi-agent 구조 연구의 실험 플랫폼 ...