문제 해결을 넘어: 경쟁 프로그래밍에서의 코드 생성, 해킹 및 수정을 평가하기 위한 UOJ-Bench

요약

LLM의 경쟁 프로그래밍 능력을 다각도로 평가하기 위한 새로운 벤치마크인 UOJ-Bench를 소개합니다. 코드 생성, 해킹, 수정을 포함하며, 테스트 시간 스케일링을 통해 모델의 오류 식별 능력을 검증합니다.

핵심 포인트

• UOJ-Bench는 코드 생성, 해킹, 수정을 평가하는 벤치마크임
• 기존 모델들은 인간의 오답을 식별하는 데 한계를 보임
• 테스트 시간 스케일링 적용 시 성공률을 90% 이상으로 향상 가능
• 높은 계산 비용은 대규모 배포의 실용적 제약 요소임