현재 대규모 언어 모델(LLM)의 데이터 분석 평가를 위한 벤치마크는 실제 환경을 반영하는 데 종종 실패합니다. 이들은 일반적으로 작은 테이블에서의 사실 검색에 초점을 맞추고, 대규모 다중 테이블 데이터셋, 외부 지식 통합, 탐색적 통찰력 발견과 같은 과제들을 간과합니다. 우리는 정부 공개 데이터를 기반으로 설계된 벤치마크인 DataGovBench를 소개하며, 이는 LLM을 실제 시나리오에서 평가하기 위해 고안되었습니다. 이 벤치마크는 두 가지 작업을 포함합니다: 복잡한 분해 가능한 질문을 해결하고 텍스트 답변이나 시각화를 생성해야 하는 Table QA와, 탐색적 데이터 분석을 통해 전문가 수준의 발견(finding)을 생성하는 모델의 능력을 평가하는 Table Insight입니다. 에이전트 프레임워크 사용 여부와 관계없이 최신 LLM들을 대상으로 수행된 포괄적인 실험 결과는 두 작업 모두에서 상당한 성능 격차를 보여줍니다. 이러한 결과들은 현재의 LLM 기반 시스템들이 실제 데이터 분석의 요구 사항을 충족하는 데 아직 거리가 멀다는 것을 시사합니다. DataGovBench는 분석적 질의에 답변하고 데이터로부터 통찰력을 발견할 수 있는 LLM 연구 발전을 위한 도전적인 벤치마크를 제공합니다. 코드와 샘플 데이터는 https://github.com/SoHasegawa/datagovbench에서 이용 가능합니다.