MANTRA: SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents

요약

MANTRA는 자연어 매뉴얼 및 도구 스키마를 기반으로 자동적으로 검증 가능한 준수 벤치마크를 생성하는 프레임워크입니다. 이 프레임워크는 절차적 의존성을 포착하는 기호 세계 모델과 SMT 해결을 사용하여 트레이스 수준의 일관성 검증을 수행합니다. MANTRA는 임의 도메인과 장기 절차 매뉴얼에 적용 가능하며, 기존 방식보다 더 풍부하고 강력한 제약 강제력을 가진 공식적으로 검증된 벤치마크를 제공하여 도구 사용 LLM 에이전트의 신뢰성 있는 평가를 가능하게 합니다.

핵심 포인트

• LLM 에이전트가 규정 준수 환경에서 작동함에 따라, 자연어 매뉴얼 기반의 엄격한 검증이 필수적입니다.
• 기존 벤치마크는 확장성과 신뢰성이 부족했으나, MANTRA는 이를 해결하기 위해 자동화된 공식 검증 방법을 도입했습니다.
• MANTRA는 기호 세계 모델과 SMT(Satisfiability Modulo Theories) 솔버를 결합하여 절차적 의존성을 포착하고 트레이스 수준의 준수 검증을 수행합니다.
• 이 프레임워크는 임의 도메인 및 장기 매뉴얼에 적용 가능하며, 자동화된 벤치마크 생성과 공식적 기반 검증을 통해 에이전트 평가의 신뢰성을 높입니다.