지난주에 말씀드렸듯이, 모든 파서가 자체 벤치마크에서 최고라고 생각했는데, 저희가 직접 벤치마크를 테스트해봤습니다.
요약
기존의 파서들이 자체 벤치마크에서 우수하다고 알려졌으나, 새로운 'BenchBench' 테스트를 통해 객관적인 성능 비교가 필요함을 제시합니다. 페이지 기울임(2~4°)을 적용한 결과, 여러 벤치마크에서 승자가 달라지는 등 성능 편차가 크게 나타났습니다. 정보 손실 여부를 판단하는 LLM judge의 도입이 파서 평가에 필수적이라고 강조합니다.
핵심 포인트
- BenchBench: 페이지 기울임(2~4°)을 적용하여 객관적인 성능 비교를 시도했습니다.
- 성능 편차 확인: 8개 파서 중 5개가 전체 평균 순위에서 변화하는 등 격차가 발견되었습니다.
- 난이도 증가: 9/12 벤치마크에서 기울임 후 점수 하락 폭이 크게 나타났습니다.
- LLM의 역할: 정보 손실 여부를 판단할 수 있는 LLM judge가 파서 평가에 중요합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @nicos_ai (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기