Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
금융 보고서의 복잡한 구조를 평가하기 위한 새로운 롱 컨텍스트 벤치마크인 LEDGER를 공개합니다. 도표와 표가 포함된 4,999개의 기업 연례 보고서를 활용하여 KPI 검색, 단일 값 조회, 전체 KPI 추출 능력을 다각도로 평가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기금융 보고는 대규모 언어 모델 (LLM)의 자연스러운 시험장이며, 최근 모든 규모의 모델들이 보여주는 초장문 컨텍스트 (very-long-context) 능력은 이 분야에서의 엄격한 평가를 점점 더 절실한 필요로 만들고 있습니다. 하지만 대부분의 공개 금융 리소스는 이 작업을 단순 텍스트 형태의 SEC 10-K 공시 서류와 소수의 질의응답 항목으로 축소하고 있습니다. 우리는 LEDGER (Long-context Evaluation of Documents for Grounded Extraction and Retrieval)를 공개합니다. 이는 단순한 규제 공시 서류가 아닌, 도표, 표, 서술형 문장이 포함된 전체 문서인 4,999개의 디지털화된 기업 연례 보고서 코퍼스입니다. 각 보고서에는 추출되어 실적 발표일의 시장 반응과 연결될 31개의 통합 재무 KPI (Key Performance Indicators)가 라벨링되어 있습니다. 이 데이터를 통해 우리는 난이도 스펙트럼을 아우르는 세 가지 평가 벤치마크를 도출했습니다: 자연어로 된 118,048개의 질문에 대해 TREC 스타일의 관련성 판단을 적용한 순수 페이지 수준의 KPI 검색 작업, 대화형 "건초더미 속 바늘 찾기 (needle-in-a-haystack)" 단일 값 조회, 그리고 길고 수치적으로 밀도가 높은 보고서로부터 수행하는 전체 KPI 추출 작업입니다. 또한 우리는 주석자 간 일치도 (inter-annotator agreement)가 확보된 인간 수준의 OCR 품질 주석과 완전한 추출, 검증 및 점수 산정 툴체인을 제공합니다. 나아가 우리는 CEO 서한의 수사법과 발표 후 시장 영향력을 연결하는 사례 연구를 통해 이 데이터셋의 연구적 유용성을 입증합니다.