대규모 언어 모델 (LLMs)은 표준화된 벤치마크 (benchmarks)에서 종종 인상적인 점수를 달성하지만, 정확도 (accuracy)만으로는 모델의 능력을 제한적으로 보여줄 뿐입니다. 리더보드 (leaderboards)를 통해 오픈 소스 LLM을 평가하는 것은 데이터 오염 (data contamination), 좁은 작업 범위, 그리고 실제 세계의 신뢰성과의 약한 정렬 (alignment)과 같은 지속적인 문제에 직면해 있습니다. MMLU PRO, BBH 또는 IFEval과 같은 벤치마크 기반 평가는 모델이 정보를 어떻게 처리하고, 불확실성 (uncertainty)을 보정하거나, 내부 지식을 구조화하는지가 아니라, 고정된 테스트 세트에서 모델이 extit{무엇을} 출력하는지를 주로 포착합니다. 본 논문에서는 벤치마크 중심의 평가에서 LLM의 상호 보완적인 extit{상태 중심 내재적 평가 (state-centered intrinsic assessment)}로의 전환을 주장합니다. 이를 위해, 우리는 숨겨진 활성화 (hidden activations) 및 출력 분포 (output distributions)로부터 작업 불가지론적 (task-agnostic) 진단을 도출하는 프레임워크인 extbf{잠재적 성능 프로파일링 (Latent Performance Profiling, LPP)}을 소개합니다. LPP는 모델의 잠재 표현 (latent representations) 및 역학 (dynamics)에 대한 일련의 스칼라 지표 (scalar metrics)를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약성을 드러내는 규모 독립적인 특성을 밝혀냅니다. 정적인 정확도 점수와 달리, LPP는 유사한 크기의 모델 전반에 걸쳐 안정적이고 아키텍처에 민감한 시그니처 (signatures)를 제공합니다. 0.5B에서 14B 규모에 이르는 8개의 LLM에 대한 광범위한 실증적 분석을 통해, 우리는 유사한 벤치마크 점수를 가진 모델들이 엔트로피 (entropy)나 적응성 (adaptability)의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증합니다. 이러한 통찰력을 바탕으로, 우리는 리더보드 편향 (leaderboard bias)으로부터 분리되면서도 내재적 지표와 일치하는 불확실성 및 기호 추론 (symbolic reasoning)을 위한 합성 프로브 (synthetic probes)를 설계합니다. 우리는 벤치마크와 함께 LPP를 보고하는 것이 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여, 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 평가를 가능하게 한다고 권장합니다.