Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 추론 흔적을 구조적 그래프로 분석하는 비생성적 프레임워크 ThinkProbe를 제안합니다. 5차원 인지 프로파일링을 통해 기존 정확도 기반 평가가 놓치는 모델의 질적 인지 특성을 규명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 LLM(Large Language Model) 추론 흔적(reasoning traces)의 구조적 분석을 위한 프레임워크인 ThinkProbe를 제시합니다. ThinkProbe는 각 흔적을 사이클이 있는 유향 그래프(directed graph), 8가지 노드 유형(node types), 6가지 에지 유형(edge types)을 가진 사고 그래프(Thought Graph)로 변환하며, 규칙 기반 세그멘테이션(rule-based segmentation)과 판별적 의미론적 연결(discriminative semantic linking)을 결합한 완전 비생성적(non-generative) 파이프라인을 통해 19개의 지표로 구성된 5차원 인지 프로파일(5D-CP: Breadth, Depth, Structure, Metacognitive, Efficiency)을 도출합니다. 200개의 개방형 질문과 10개의 인지 도메인에 걸쳐 7개의 네이티브 추론 모델로부터 얻은 4,200개의 흔적에 적용한 결과, ThinkProbe는 추론 구조가 안정적인 모델 수준의 속성임을 밝혀냈습니다. 5가지 인지 차원 중 4개에서 모델 간 분산(between-model variance)이 도메인 간 분산(between-domain variance)보다 최대 4배 더 높게 나타났으며, 특히 구조(Structure) 차원은 질문 도메인에 대한 진정한 민감도를 보여줌으로써 정확도 기반 평가에서는 보이지 않는 질적으로 구별되는 인지 프로파일을 드러냅니다.