Democratic ICAI: 선호도를 통한 조정 원칙 도출을 위한 토론 방식

선호도 기반 정렬 (Preference-based alignment)은 인간의 판단 이면에 깔린 추론을 포착하는 데 종종 어려움을 겪습니다. 많은 평가가 상호작용하는 여러 기준에 의존하지만, 쌍체 비교 (pairwise) 레이블은 선호도를 형성하는 고려 사항보다는 최종 선택만을 보여줍니다. 역 헌법적 AI (Inverse Constitutional AI, ICAI)는 선호도를 자연어 원칙으로 요약함으로써 의사 결정의 해석 가능성을 개선하지만, 단일 패스 (single-pass) 설명 방식은 복잡한 결정에 포함된 많은 뉘앙스를 놓칩니다. 우리는 구조화된 페르소나 토론 (persona debate)을 통해 여러 경쟁적인 근거를 수집하여, 각 비교에 영향을 미치는 요인들에 대해 더 넓고 표현력이 풍부한 설명을 제공하는 새로운 접근 방식인 Democratic ICAI를 소개합니다. 이러한 더 풍부한 신호로부터 우리는 더 명확하고 포괄적인 조정 원칙 (steering principles)을 도출하며, 이를 LLM 기반 및 의사 결정 트리 (decision-tree) 판사를 통해 의사 결정 모델링을 안내하는 데 사용합니다. 다양한 창의적 작업 범주에 걸친 창의적 선호도 벤치마크인 MuCE-Pref 및 LiTBench에서의 실험 결과, Democratic ICAI가 더 충실한 선호도 구조를 생성함을 보여줍니다. 이는 숙의적 프롬프팅 (deliberative prompting) 및 원칙 기반 베이스라인 (principle-based baselines)과 비교했을 때 작업 전반에 걸쳐 평균 선호도 예측을 개선하는 동시에, LLM 어노테이터 (annotator)들이 선호하는 헌법을 생성합니다.