Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 조합론적 계수 능력을 평가하기 위한 동적 벤치마크인 CombEval을 제안합니다. 이 프레임워크는 다양한 제약 조건과 객체 의존성을 포함한 문제를 생성하여 모델의 추론 능력을 체계적으로 진단합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 대규모 언어 모델(Large Language Models, LLMs)의 조합론적 계수(Combinatorial Counting)를 평가하기 위한 동적 벤치마크인 CombEval을 제시합니다. CombEval은 각 문제를 엔티티(entities), 조합 객체(combinatorial objects), 객체 의존성(object dependencies) 및 제약 조건(constraints)에 대한 유형화된 Cofola 명세(specification)로 표현하여, 정확한 솔버(solver)로 검증된 정답을 가진 자연어 계수 문제의 통제된 생성을 가능하게 합니다. 정적인 컬렉션과 달리, CombEval은 객체 유형, 엔티티 규모, 제약 조건 수 및 추론 깊이의 체계적인 변화를 지원합니다. 우리는 직접적인 설정과 코드 증강(code-augmented) 설정 하에서 11개의 LLM을 평가하였으며, 모델들이 순서가 있는 객체(ordered objects), 구별 불가능한 요소(indistinguishable elements), 상대적 위치 제약(relatively positional constraints) 및 중첩된 객체 의존성(nested object dependencies)에서 여전히 취약하다는 것을 발견했습니다. 오류 분석을 통해 제약 조건 해석 및 계수 원칙에서의 실패를 추가로 식별했습니다. CombEval은 LLM이 언제, 왜 조합론적 추론(combinatorial reasoning)에 실패하는지 연구하기 위한 진단 테스트베드를 제공합니다. 코드와 생성된 벤치마크 제품군은 \url{https://github.com/YuxuZhou-CN/combination-problem-generation}에서 공개적으로 사용할 수 있습니다.