개방형 생성 공간에서의 표현 공간 일치성 (Agreement in Representation Space for Open-Ended

자기일관성(Self-consistency)은 여러 출력을 샘플링하고 가장 일관된 답변을 선택함으로써 LLM의 추론 능력을 향상시키지만, 기존 공식들은 주로 정확한 일치(exact matching)에 의존하므로 범주형 출력(categorical outputs)이 있는 작업으로 제한됩니다. 본 연구에서는 코드 합성 및 텍스트 요약과 같은 개방형 생성 작업에서의 자기일관성을 연구합니다. 우리는 일관성이 생성 공간의 기하학적 속성으로 이해될 수 있으며, 여기서 의미적으로 호환되는 생성들은 표현 공간의 유사한 영역에 집중한다고 가설을 세웁니다. 이 가설을 연구하기 위해, 우리는 임베딩 기반 일치성(Embedding-Based Agreement, EBA)이라는 간단하고 훈련이 필요 없는 운영화 방식을 도입합니다. 이는 임베딩 공간에서 샘플링된 생성들을 클러스터링하여 일치성을 추정합니다. 수학적 추론, 코드 생성 및 요약에 대한 실험을 통해, 우리는 표현 공간에서의 일치성이 개방형 작업을 위한 자기일관성의 강력하고 확장 가능한 신호임을 보여줍니다. 특히, EBA는 무작위 선택보다 지속적으로 우수한 성능을 보이며, LLM 평가 또는 불확실성 추정(uncertainty estimation)에 기반한 최근의 선택 접근 방식들보다 더 안정적인 스케일링 동작을 나타냅니다. 나아가, 우리는 이러한 일치 신호들이 네이티브 은닉 표현(native hidden representations)을 사용하더라도 모델 계열과 임베딩 공간 전반에 걸쳐 안정적으로 유지됨을 보여줍니다. 마지막으로, 우리의 분석은 샘플링된 생성들이 차지하는 기하학적 위치가 생성 품질과 강하게 상관관계가 있음을 보여줍니다: 표현 공간의 중앙 영역 근처에 집중된 생성들은 더 신뢰할 수 있는 출력과 일치하는 경향이 있는 반면, 주변부(peripheral) 생성들은 상당히 부정확합니다. 전반적으로, 우리의 발견은 자기일관성을 정확한 기호적 중첩(exact symbolic overlap)보다는 샘플링된 생성들의 기하학적 조직화의 속성으로 간주하는 것을 뒷받침합니다.