TopBench: 표 기반 질문 답변에 대한 암묵적 예측 및 추론을 위한 벤치마크

요약

TopBench는 대형 언어 모델(LLMs)의 표 기반 질문 답변 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. 기존 LLM들이 단순 정보 추출에 강점을 보이지만, 실제 세계의 복잡한 '암묵적 예측' 추론 능력은 부족합니다. TopBench는 의사 결정, 치료 효과 분석 등 네 가지 하위 작업을 포함하는 779개의 샘플로 구성되어 있으며, 모델이 구조화된 표와 추론 텍스트를 모두 생성하도록 요구하여 LLM의 심층적인 예측적 추론 능력을 측정합니다.

핵심 포인트

• TopBench는 단순 정보 추출을 넘어선 '암묵적 예측' 및 '예측적 추론' 능력을 평가하는 데 초점을 맞춘 벤치마크이다.
• 이러한 복잡한 질문 답변은 잠재적 의도 인식(latent intent recognition)과 신뢰할 수 있는 예측적 추론을 요구한다.
• 실험 결과, 현재 LLMs는 단순 조회에 의존하는 경향이 있으며, 정확한 '의도 소거(intent disambiguation)'가 필수적인 전제 조건임을 확인했다.
• 모델 성능 향상을 위해서는 정교한 모델링과 추론 능력 통합이 필요하다.