평가는 모델의 현재 성능을 측정하는 것 이상을 해야 합니다. 다음 모델 반복(iteration)을 위해 무엇을 수정해야 하는지 알려주고, 목표 지능형 후속 훈련 데이터(post training data)를 생성할 방법을 제공해야 합니다. 대부분의 평가 파이프라인은 약한 예시, 주제 또는 카테고리를 식별하지만, 근본적인 역량 실패는 암묵적으로 남겨둡니다. 즉, 모델이 어디에서 실패했는지 말할 뿐, 왜 실패했는지는 알려주지 않습니다. 우리는 CRAFT를 소개합니다. 이는 모든 루브릭 기반 평가 데이터셋을 모델 특정 약한 역량 진단으로 변환하는 방법입니다. CRAFT는 각 채점 기준(grading criterion)을 역량 프로브(capability probe)로 취급합니다. 즉, 모든 프롬프트-루브릭 쌍에서 역량 설명을 추출하고, 이 설명들을 계층적 역량 트리(hierarchical capability tree)로 클러스터링하며, 목표 모델의 각 노드에서 점수를 매기고, 실패가 가장 명확한 수준에서 트리의 여러 레벨에 걸쳐 동적으로 성능이 낮은 노드를 선택합니다. 이렇게 선택된 약한 역량들은 이후 목표 지능형 지도 학습 파인튜닝 데이터(targeted supervised finetuning data) 생성을 직접적으로 안내합니다. 데이터 생성, 파인튜닝 및 평가 설정을 고정하고, 우리는 CRAFT를 prompt 수준의 EvalTree 클러스터링 및 비목표 지능형 무작위 생성과 비교했습니다. 이 비교는 네 가지 오픈 소스 모델, 두 개의 전문 영역(금융 및 법률), 그리고 진단 데이터와 분리된 13개의 보류 벤치마크에서 수행되었습니다. CRAFT는 반복적인 온도 디코딩 하에 네 가지 모델 모두에서 가장 강력한 금융 도메인 평균을 달성했습니다. 또한 법률 도메인에서는 네 가지 모델 중 세 가지에서 가장 강력했으며, 네 번째 모델에서도 최고의 기준선(baseline)의 디코딩 분산 범위 내에 머물렀습니다. 따라서 프롬프트나 카테고리가 아닌 루브릭 기준 수준에서 약점을 진단하는 것은, 모델이 무엇을 할 수 없는지에 대한 더 날카로운 그림과 해당 진단을 통해 파인튜닝된 측정 가능하게 개선된 모델을 모두 제공합니다.