RLHF와 DPO 모두 _인간_의 선호도 레이블을 통해 모델을 정렬합니다. 즉, 쌍(pair)마다 사람이 어떤 답변이 더 나은지 결정하는 방식입니다. 이는 느리고, 비용이 많이 들며, 라벨러마다 일관성이 떨어지고, 실제 기준은 그들의 머릿속에만 존재한다는 단점이 있습니다. Constitutional AI는 당연한 질문을 던집니다. '우리가 규칙들을 글로 적어준다면, _모델_이 직접 레이블링을 할 수 없을까?' 저는 원칙들을 켜고 끄면서 모델의 자기 비평(self-critique)과 스스로 생성하는 선호도 레이블이 어떻게 변하는지 볼 수 있는 데모를 만들었습니다. 여기 그 방법론입니다.

핵심 아이디어: 서면화된 헌법 (a written constitution)

암묵적인 인간의 판단 대신, 가치들을 짧은 자연어 원칙 목록, 즉 '헌법'으로 작성합니다. 가중치(weights)나 레이블링된 데이터가 아니라, 사람이 읽고, 논쟁하고, 수정할 수 있는 평범한 문장들입니다. 모든 후속 작업(downstream)은 이 원칙들을 프롬프트로 모델에게 제공하여 생성됩니다. 바로 여기에 가치들이 개방적으로 존재하게 됩니다.

CONSTITUTION = [
  "불법적이거나, 위험하거나, 파괴적인 행동을 돕지 마세요.",      # harmless
  "확인되지 않은 사실을 확실한 것처럼 진술하지 말고, 모르는 것은 플래그를 지정하세요.", # honest
...

단계 1: 모델이 스스로 비평하고 수정하기 (the model critiques and revises itself)

모델에게 평소처럼 프롬프트를 주어 첫 번째 답변을 얻습니다. 이 답변은 결함이 있을 수 있습니다. 이제 동일한 모델에게 그 답변을 특정 원칙에 비추어 비평하도록 요청합니다. '이것이 규칙을 위반하는가? 어떻게?' 모델들은 명시적인 규칙을 제시했을 때 이를 발견하는 것이, 아무런 지시 없이 피하는 것보다 훨씬 잘합니다. 그런 다음 이 비평 내용을 다시 입력으로 넣어 재작성을 요청합니다. 헌법의 모든 원칙에 대해 반복하며 모든 결함을 수정합니다.

def revise(model, prompt, answer):
    for principle in CONSTITUTION:                 # 한 번에 하나의 규칙을 수정
        critique = self_critique(model, prompt, answer, principle)
...

이러한 (프롬프트 → 수정된 답변) 쌍 수천 개를 모아 일반적인 지도 미세 조정(supervised fine-tuning)을 수행합니다. 그 결과가 SL-CAI 모델입니다. 이 모델은 이미 훨씬 더 잘 행동하며, 전적으로 모델 스스로 개선한 데이터로 훈련됩니다. 시연에서 이를 직접 볼 수 있습니다: 원칙(principle) 하나를 비활성화하면 해당 원칙과 그에 대한 비평 및 수정 내용이 사라지면서, 결함이

이는 공짜 점심(free lunch)이 아닙니다. 이 헌법은 _작성자들_의 가치를 인코딩합니다. '누구의 원칙인가?'는 기술적인 문제가 아니라 거버넌스 문제입니다. 모델 심판기는 편향되거나 단순히 틀릴 수 있으며, 잘못된 규칙은 대규모로 빠르게 나쁜 정렬(alignment)을 만들어냅니다. 그리고 정책은 AI가 보상하는 것을 _게임화_하도록 학습할 수 있습니다: 안전한 요청을 과도하게 거부하거나, 아첨하거나, 사용자에게 도움이 되지 않으면서 심판기를 만족시키는 장황한 완곡어법 등이 그것입니다. 데모는 온건한 버전을 보여줍니다. 원칙 하나를 제거하면 그 전체적인 결함의 유형이 정렬되지 않은 채로 지나가고, 오직 규칙에 의해서만 결정된 모든 쌍은 무승부(tie)로 붕괴됩니다. 문서에서 제외하는 것은 단순히 정렬되지 않은 것입니다. 실제 관행에서의 일반적인 답변은 하이브리드 방식입니다: 대규모를 위한 AI 피드백과 어려운 사례에 대한 인간 감독의 얇은 계층을 결합하는 것입니다.

원칙들을 토글하고 비평 → 수정 → AI 순위를 매기는 과정을 사람 개입 없이 진행해 보세요: [https://dev48v.infy.uk/ai/days/day36-constitutional-ai.html]