대규모 언어 모델의 독점적 정렬 감사: 정답 표준(Ground-Truth Standard) 없는 비교 프레임워크

대규모 언어 모델 (LLMs)은 점점 더 불투명한 개발 및 배포 파이프라인을 통해 출시되고 배포되고 있으며, 이는 모델 제공자가 공식적으로 발표하지 않고도 의도적이고 제공자 특유의 정책을 주입할 수 있게 합니다. 그 결과, 다양한 모델들이 독점적인 규칙과 조직의 이익을 반영하는 응답을 생성하여 논란이 되는 주제에 대해 검열이나 잘못된 정보를 생성한다는 보고가 있었습니다. 그러나 이러한 정렬 (alignment)을 체계적으로 식별하는 것은 여전히 근본적인 과제로 남아 있으며, 서로 다른 맥락에서 무엇이 "독점적 (proprietary)"인지를 나타내는지에 대한 모호함으로 인해 더욱 복잡합니다. 본 논문에서는 비교 행동 분석 (comparative behavioral analysis)을 통해 블랙박스 언어 모델 (black-box language models) 내의 독점적 정렬을 탐지하기 위한 통계적 프레임워크를 제안합니다. 우리의 접근 방식은 공유된 의미 공간 (semantic space) 내에서 대상 모델의 응답과 기준 모델 세트 (reference set of baseline models)의 응답 사이의 체계적인 편차를 정량화합니다. 절대적인 정확성 (absolute correctness)보다는 상대적인 행동 발산 (relative behavioral divergence)을 평가함으로써, 우리의 프레임워크는 블랙박스 접근 권한 하에서도 원칙적인 감사 (auditing)를 가능하게 합니다. 널리 논의되었으나 이전에는 정량화되지 않았던 여러 사례에 적용했을 때, 이는 대규모 언어 모델에서 제공자 특유의 정렬 행동에 대한 외부 평가를 위한 체계적이고 확장 가능한 기반을 제공합니다.