RoadMapper: 복잡한 연구 문제 해결을 위한 로드맵 생성을 위한 다중 에이전트 시스템

요약

본 논문은 복잡한 연구 문제 해결에 필수적인 로드맵 생성 작업이 LLM 분야에서 아직 충분히 다루어지지 않았음을 지적하며, 이를 위한 새로운 벤치마크인 RoadMap을 소개합니다. 이 벤치마크를 통해 LLM의 전문 지식 부족, 부적절한 작업 분해, 논리적 관계의 문제점 세 가지가 확인되었습니다. 이에 대한 해결책으로, 초기 생성, 지식 보강, 그리고 반복적인 '비판-수정-평가' 단계를 거치는 다중 에이전트 시스템인 RoadMapper를 제안하며, 이 시스템이 로드맵 생성 성능을 크게 향상시키고 시간 효율성을 높임을 입증했습니다.

핵심 포인트

• 연구 문제 해결에 필요한 구조화된 콘텐츠 중 '로드맵'은 중요하지만, LLM 분야에서 아직 충분히 다루어지지 않은 영역이다.
• LLM이 로드맵을 생성할 때 겪는 주요 한계점으로는 전문 지식 부족, 부적절한 작업 분해, 그리고 논리적 관계의 무질서함이 있다.
• 제안된 RoadMapper 시스템은 초기 생성, 지식 보강, '비판-수정-평가'라는 다단계 에이전트 워크플로우를 통해 이러한 한계를 극복한다.
• 실험 결과, RoadMapper는 로드맵 생성 성능을 평균 8% 이상 개선하고 전문가의 작업 시간을 84% 절감하는 높은 효율성을 보였다.