Constitutional AI가 AI를 안전하게 만들 수 있을까? 내가 더 낙관적인 이유

Constitutional AI (헌법적 AI)가 어떻게 작동하는지 배우는 것이 내 우려를 완전히 없애지는 않았지만, 그 우려를 생각하는 방식은 바꾸어 놓았습니다. 나는 여전히 신중하지만, 1년 전보다는 더 낙관적입니다.

모두가 AI 안전성에 대해 각자의 의견을 가지고 있습니다.

🤖 Doomers (파멸론자): "우리는 인간의 통제를 벗어난 무언가를 만들고 있다."

⌨️ Boosters (낙관론자): "진정해, 이건 기본적으로 AI의 사춘기일 뿐이야."

📋 Constitutional AI (헌법적 AI):

"그냥 상기시켜 드리는 건데: 나는 인간이 작성한 규칙 목록일 뿐이니, 인간보다 나를 더 신뢰하지는 마세요."

😅 한편, 우리 나머지는 그저 모델이 유효한 JSON을 반환하게 하려고 애쓰고 있습니다.

Error: Unexpected token ',' at position 127

솔직히 말씀드리겠습니다.

당신이 인턴을 채용했다고 상상해 보세요. 하지만 그들이 절대 읽지 않을 30페이지짜리 인사 관리(HR) 핸드북을 주는 대신 — 당신이 그들과 함께 앉아 특정 사항들이 왜 중요한지 설명하고, 그들이 이해할 때까지 연습하는 과정을 지켜보는 것입니다.

그것이 대략 CAI가 하는 일입니다.

Anthropic은 모델에게 UN 세계 인권 선언과 같은 것에서 가져온 실제 원칙인 **서면 헌법 (written constitution)**을 부여했습니다. 그런 다음 모델이 특이한 행동을 하도록 훈련시켰습니다:

자신의 응답을 읽으세요. 규칙을 위반했나요? 다시 작성하세요.

이 루프 — 생성(generate) → 비판(critique) → 수정(revise) — 는 훈련 과정 동안 수천 번 반복됩니다. 당신이 API를 호출할 때쯤이면, 모델은 즉흥적으로 행동하는 것이 아닙니다. 이미 윤리 훈련 캠프를 거친 상태입니다.

그리고 인간 피드백을 통한 강화학습 (Reinforcement Learning from Human Feedback, RLHF, 대중이 참여하는 인간 평가자가 무엇이 "좋은지" 결정하는 방식)과 달리, CAI는 명시적인 규칙에 따라 AI 자체를 평가자 (rater)로 사용합니다. 이것이 CAI를 확장 가능하게(scalable) 만드는 요소이며, 감사 가능하게(auditable) 만드는 요소입니다.

2단계 파이프라인 (박사 학위 없이 이해하기)

1단계 — 지도 학습 (Supervised Learning)

프롬프트 (Prompt) → 나쁜 응답 → "이것이 원칙을 위반하는가?" → 수정된 응답 → 훈련 데이터

인간의 라벨링이 필요하지 않습니다. 모델은 헌법을 채점 기준(rubric)으로 사용하여 스스로를 가르칩니다.

2단계 — AI 피드백을 통한 강화학습 (Reinforcement Learning from AI Feedback, RLAIF)

두 개의 응답 → AI가 (헌법을 사용하여) 더 나은 것을 선택 → 보상 모델 (Reward Model) 학습 → 이를 통해 최종 모델 최적화

RLHF (Reinforcement Learning from Human Feedback)와 구조는 동일합니다. 하지만 레이블러(Labeler)가 직관에 의존하는 긱 워커(Gig worker)가 아니라, 명문화된 정책을 가진 AI라는 점이 다릅니다.

헌법(Constitution)이 실제로 다루는 내용

출처	강제 사항
UN 세계 인권 선언	위해 방지, 인간의 존엄성
...

이것이 모델이 때때로 답변을 거부하거나, 주의 사항을 추가하거나, 답변 중간에 어조를 완화하는 이유입니다. 모델은 실시간 체크리스트를 실행하는 것이 아니라, 내재화된 규칙의 버전을 적용하고 있는 것입니다.

실제로 구축할 때의 의미

모델은 당신의 절반만큼 따라와 줍니다. 하지만 당신이 먼저 나타나야 합니다.

당신의 시스템 프롬프트(System Prompt)가 곧 정책 파일입니다. 이는 단순한 지침이 아니라, 모델이 자신의 원칙을 적용하는 데 사용하는 컨텍스트(Context)입니다. 프롬프트를 제대로 작성하면 모델은 더 나은 판단을 내립니다. 모호하게 남겨두면 다시 앞이 보이지 않는 상태로 돌아가게 됩니다.

# 실제로 효과가 있는 방식

system_prompt = "당신은 B2B SaaS 도구를 위한 고객 지원 어시스턴트입니다.
...

누군가 내게 미리 말해줬으면 좋았을 몇 가지 사항들:

• 예상치 못한 거부? 당신의 프롬프트가 실제로는 해롭지 않더라도, 해로운 요청처럼 보일 가능성이 높습니다. 싸우지 말고 문장을 재구성하세요.
• 민감한 도메인? 사용자 역할을 명시적으로 선언하세요. 시스템 프롬프트에 "사용자는 검증된 의료 전문가입니다"라고 명시하는 것만으로도 모델의 응답 방식이 달라집니다.
• 에이전틱 워크플로우 (Agentic Workflows)? CAI 원칙은 최종 출력뿐만 아니라 모든 단계에 적용됩니다. 되돌릴 수 없는 작업에 대해서는 확인 단계를 구축하세요. 모델은 당신이 부여한 권한보다 더 적은 권한을 요청하는 경우가 많을 것입니다.

나는 여전히 두려운가?

조금은요. 솔직히 말해서.
그 두려움이 완전히 사라지지는 않을 것이며, 어쩌면 사라져서는 안 될지도 모릅니다.

하지만 저는 더 이상 마비되지는 않습니다.

왜냐하면 이제 제가 구축하고 있는 모델이 단순히 똑똑해지도록 훈련된 것이 아니라는 점을 알기 때문입니다.
그 모델은 명문화되어 있고, 일관되게 적용되며, 실제로 논쟁 가능한 규칙을 가지고 관심을 갖도록(give a damn) 훈련되었습니다.

이것은 작은 일이 아닙니다.
계속 나아갈 수 있게 해주는 충분한 이유입니다.

더 깊이 알아보기

리소스	얻을 수 있는 내용
CAI 원문 논문	전체 방법론 — 놀라울 정도로 읽기 쉬움
...

2022년 12월에 발표된 Anthropic의 Constitutional AI 연구를 기반으로 합니다. 이는 오늘날 Claude가 작동하는 방식의 여전히 기초가 되고 있습니다.