실제 데이터 복잡성을 반영한 대규모 언어 모델(LLM) 벤치마크

요약

기존 LLM 벤치마크가 실제 데이터 분석 환경을 반영하지 못하는 문제를 지적하며, 정부 공개 데이터를 기반으로 DataGovBench를 소개합니다. 이 벤치마크는 복잡한 질문에 답하는 Table QA와 전문가 수준의 통찰력을 발견하는 Table Insight 두 가지 작업을 포함하여 LLM 평가의 새로운 기준을 제시합니다.

핵심 포인트

• 기존 LLM 벤치마크는 실제 데이터 분석 환경을 반영하지 못함.
• DataGovBench는 정부 공개 데이터를 기반으로 설계된 새로운 벤치마크임.
• Table QA와 Table Insight 두 가지 작업을 통해 모델의 능력을 평가함.
• 현재 LLM은 실제 데이터 분석 요구 사항 충족에 아직 거리가 있음.