가치 표현을 이용한 정렬 일반화 예측

LLM 개발자들은 모델이 친사회적 가치와 행동 특성을 나타내도록 사후 훈련(post-train)합니다. 이러한 가치들은 정렬 목표(alignment target)에 열거되어 있습니다. 하지만 최근의 사후 훈련 발전에도 불구하고, 좁은 범위의 행동 세트로 모델을 훈련하는 것은 여전히 보지 못한 맥락과 환경 전반에 걸쳐 예상치 못한 방식으로 그들의 행동에 영향을 미칩니다. 본 논문에서는 정렬 일반화 예측(alignment generalization prediction)이라는 과제를 설정합니다. 즉, 주어진 가치를 따르도록 모델을 파인튜닝했을 때 그것의 행동이 광범위하게 보류된(held-out) 가치들 전반에 걸쳐 어떻게 변화하는지를 예측하는 것입니다. 우리는 현대 정렬 목표에서 발견되는 66개의 가치들에 걸친 정렬 일반화 효과에 대한 대규모 분석을 수행하고, 이 정렬 일반화 예측 과제에 대해 표현 기법(representational techniques)의 벤치마크를 진행합니다. 그 결과, 컨텍스트에서 가치를 적용할 때 모델 활성화(model activations) 기반의 표현들이 가치의 텍스트 설명 기반 방법들보다 현저히 우수한 성능을 보였습니다. 구체적으로, 최적의 활성화 기반 방법들은 우리의 일반화 행렬과 0.45의 상관관계를 달성한 반면, 설명 기반 기준선(description-based baselines)은 0.05에 그쳤습니다. 다음으로, 우리는 이러한 표현들이 다운스트림 과제(downstream tasks)로의 정렬 일반화를 예측하는 적용 가능성을 보여주기 위해 사용하며, 이를 통해 다중 가치 정렬 목표 내에서 가치들 간의 유사성을 측정할 수 있고, 이는 모델 강건성(model robustness)과 유의미하게 상관관계가 있음을 발견했습니다. 마지막으로, 우리는 공유되고 모델 독립적인 가치 공간(shared, model-independent value space)에 대한 초기 증거를 제시하며, 이를 활용하여 경험적 일반화 역학(empirical generalization dynamics)에 기반한 LLM 가치의 최초 분류 체계(taxonomy)를 개발합니다. 우리의 연구는 LLM에서 가치 일반화를 연구하는 것의 중요성과 그 적용을 모델 행동의 보다 경험적인 설계 및 훈련으로 이끄는 방안을 입증합니다.