Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 복잡한 법령과 규칙을 적용하여 추론하는 의무론적 추론(Deontic Reasoning)의 한계를 극복하기 위한 DAR 프레임워크를 제안합니다. 에이전트형 하네스를 통해 규칙과 상호작용하며 추론 성능을 높이는 방식을 연구하고 평가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기의무론적 추론 (Deontic reasoning)은 법령에 따른 세금 납부액을 계산하거나 이민 항소 결과를 결정하는 것과 같이, 사례별 사실에 명시적인 규칙과 정책을 적용하여 질문에 답하는 작업입니다. LLM (Large Language Model) 기반 의무론적 추론의 핵심적인 기술적 과제는 관련 규칙 세트가 길고 서로 참조(cross-referenced)될 수 있어, 모델이 특정 추론 단계에 필요한 규칙을 찾는 데 여전히 실패할 수 있다는 점입니다. 우리는 모델이 필요에 따라 법령과 상호작용하는 에이전트형 추론 설정인 DAR (Deontic Agentic Reasoning)을 소개합니다. 우리는 DeonticBench의 어려운 하위 집합(hard subsets)에 대해 여러 하네스 (harnesses) 환경에서 DAR을 평가합니다. 이러한 설정 전반에 걸쳐, 우리는 에이전트형 하네스가 의무론적 추론 작업의 한계를 넓힐 수 있음을 발견했지만, 그 개선 효과가 균일하지는 않다는 점도 확인했습니다. 즉, 성능이 낮은 모델은 훨씬 더 많은 토큰 (tokens)을 소비하면서도 수치 작업 (numerical tasks)에서는 성능이 저하되는 경우가 빈번했습니다.