채점자를 채점하기: 에이전트 기반 데이터 분석 시스템 평가로부터 얻은 교훈

에이전트 기반 데이터 분석 시스템(Agentic data analysis systems)은 코드, 수치 결과, 언어적 진단(verbal diagnostics)을 포함하여 풍부한 출력을 생성합니다. 이는 단일 턴 LLM 응답보다 평가하기 더 어렵게 만듭니다. 따라서 에이전트의 출력과 정답(ground-truth answer) 사이의 진정한 불일치를 채점 아티팩트(grading artifacts)로부터 구분하는 것이 필요합니다. 우리는 DSGym의 153개 수치 QRData 태스크에 멀티 에이전트 데이터 분석 시스템인 LAMBDA를 적용하여, 자동 채점기가 이러한 시스템을 얼마나 신뢰성 있게 평가하는지, 그리고 어떤 전략이 채점 품질을 향상시키는지 조사합니다. 우리는 엄격한 정규 표현식 매칭(strict regex matching), LLM 기반의 관대한 채점(LLM-based lenient grading), 그리고 스니펫 기반의 인간 검사(snippet-based human inspection)로 구성된 3계층 인간-AI 채점 캐스케이드(human-AI grading cascade)를 개발하고 평가합니다. 이는 서로 다른 실패 프로필(failure profiles)을 가진 비-생성형 AI(non-GenAI) 및 생성형 AI(GenAI) 전략을 결합한 것입니다. 두 자동 채점기 모두 100%의 관찰된 정밀도(observed precision, 0/70 허위 양성)를 달성했습니다. 관대한 채점기의 재현율(recall)은 인간 라벨 대비 97%입니다. 키워드 앵커 추출 파이프라인(keyword-anchored extraction pipeline)은 마지막 숫자 휴리스틱(last-number heuristic) 대비 엄격한 채점기의 재현율을 60%포인트 높였으며, 관대한 채점기는 구조적으로 파서 독립적(parser-independent)입니다. 반복적인 너지 메커니즘(iterative nudge mechanism)은 채점 실행 성공률을 36%에서 97%로, 관대한 통과율(lenient-pass rates)을 16%에서 46%로 높였습니다. 원래 질문의 재주입(re-injection) 여부에 따른 너징(nudging) 비교 결과, 재주입이 아무런 이점이 없음을 확인하였으며, 이는 너지가 정답 템플릿 힌트(answer template cue)임을 입증합니다. 우리는 또한 이 사례 연구를 통해 변수 유형(variable type)이 채점 파이프라인 역학 및 관찰된 결과 등급과 가장 일관되게 연관된 태스크 메타데이터 필드임을 관찰했습니다.