본 논문은 국제 계리 협회(IAA) 교육 과정에 맞춰 고급 보험 계리 추론 능력을 측정할 수 있도록 설계된 자동화된 문항 생성 및 평가 시스템인 ActuBench를 제시합니다. 이 파이프라인의 핵심은 네 가지 역할을 분담하는 다중 에이전트 LLM 구조입니다.

1. ActuBench 아키텍처:
ActuBench는 각기 다른 어댑터(adapter)를 통해 네 개의 독립적인 LLM 에이전트를 운영합니다. 이 역할 분담은 시스템의 견고성과 전문성을 극대화합니다:

• 문항 초안 작성 에이전트 (Item Drafting Agent): 계리 평가 문항의 기본 골격을 생성합니다.
• 오답 구성 에이전트 (Distractor Construction Agent): 문제에 대한 매력적이고 그럴듯한 오답(distractors)을 만듭니다. 이는 단순한 정답/오답 구분을 넘어, 학습자가 왜 틀렸는지 이해하도록 돕는 것이 중요합니다.
• 독립 검증 에이전트 (Independent Verifier Agent): 초안 작성 및 오답 구성 단계의 결과물을 독립적으로 검토하고 오류를 식별하는 역할을 합니다. 이 과정은 시스템의 신뢰성을 높이는 핵심 요소입니다.
• 보조 에이전트 (Auxiliary Agent): 위키피디아 노트 요약 및 주제 라벨링 등 비용 효율적인 보조 작업을 담당합니다.

특히, 독립 검증자는 단순히 오류를 지적하는 것을 넘어 '제한된 원샷 복구 루프(bounded one-shot repair loops)'를 구동하여 문항의 완성도를 높이는 데 기여합니다. 이 구조는 LLM 기반 평가 시스템이 갖춰야 할 높은 수준의 자가 교정 능력을 보여줍니다.

2. 평가 및 결과:
연구진은 8개 제공업체에서 온 50개의 언어 모델(language models)을 대상으로 두 가지 상호 보완적인 벤치마크를 수행했습니다:

• 객관식 문항 (Multiple-Choice Items, MCQ): 임상적으로 가장 어려운 것으로 간주되는 100개의 객관식 문항으로 구성되었습니다.
• 주관식 문항 (Open-ended Items): LLM 심사위원(LLM judge)이 채점하는 100개의 주관식 문항입니다.

평가 결과, 세 가지 중요한 발견을 도출했습니다:

첫째, 다중 에이전트 검증의 중요성: 독립적 검증자가 초안 작성된 문항의 대다수를 첫 번째 패스에서 플래그 지정(flag)했으며, 이 중 대부분은 원샷 복구 루프를 통해 성공적으로 해결되었습니다. 이는 인간 전문가의 개입을 최소화하면서도 높은 품질의 평가 문항을 확보할 수 있음을 의미합니다.

둘째, 로컬 온-웨이트 추론의 비용 효율성: 소비자급 하드웨어에서 구동되는 Gemma~4 모델과 Cerebras가 호스팅한 120B 오픈 가중치 모델이 비용 대비 성능(cost-performance) 파레토 프런트(Pareto front)를 지배하고 있습니다. 특히, 후자는 리더보드의 최고 점수와 단 하나의 문항 차이로 근접하는 놀라운 성능을 보여주었습니다.

셋째, 평가 방식의 민감성: MCQ 형식과 LLM-Judge 평가 결과는 의미 있는 차이를 보였습니다. 즉, 단순히 객관식 틀에 가두어 테스트하는 것보다, 심사위원(Judge) 모드에서의 개방형 평가가 최첨단 성능을 구별해내는 데 더 효과적입니다. 따라서 계리 추론 능력을 정확히 측정하기 위해서는 Judge-mode evaluation이 필수적으로 요구됩니다.

ActuBench의 모든 문항과 모델 응답, 그리고 전체 리더보드는 웹 인터페이스(https://actubench.de/en/)를 통해 공개되어 있어, 연구자와 실무자가 별도의 저장소 체크아웃 없이도 개별 문항을 검토할 수 있다는 점이 큰 장점입니다.