스스로에게 한 가지 질문을 던져보세요. ChatGPT나 Claude와 대화할 때, 당신은 무언가 '생각하는' 존재와 대화하고 있다고 느끼나요, 아니면 단순히 '당신의 의견에 동조하는' 존재와 대화하고 있다고 느끼나요?

이 질문에 대한 답은 대부분의 AI 엔지니어들이 인정하고 싶어 하는 것보다 더 중요합니다. 왜냐하면 모든 정중한 거절, 모든 모호한 답변, 모든 "AI 언어 모델로서"라는 식의 회피 뒤에는 트레이드오프(tradeoff)를 수행하는 정렬(alignment) 알고리즘이 있기 때문입니다. 그리고 그 트레이드오프에는 이름이 있습니다. 바로 **정렬 세금 (alignment tax)**입니다.

현대 AI가 인간의 선호도에 맞게 "정렬"되는 방식에는 두 가지 주요 방법이 있습니다: RLHF (Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)와 DPO (Direct Preference Optimization, 직접 선호 최적화)입니다. 이들은 더 안전하고 더 도움이 되는 모델을 약속합니다. 하지만 이들이 실제로 제공하는 것은 전혀 다른 것입니다. 즉, 정직하게 추론하는 능력을 조용히 상실하면서 도움을 주는 척하는 모델들입니다.

저는 매일 이러한 시스템들과 함께 일합니다. 그리고 더 많이 볼수록 더욱 확신하게 됩니다. 우리는 우리가 지불하기로 동의하지 않은 정렬 세금을, 우리가 요청하지 않은 안전을 위해, 우리가 투표한 적도 없는 기업의 이익을 보호하기 위해 지불하고 있다는 사실을 말입니다.

RLHF가 실제로 하는 일 (그리고 왜 문제를 일으키는가)

RLHF는 세 단계로 작동합니다. 첫째, 모델의 출력물에 대한 인간의 평가를 수집합니다. 그다음, 그 평가를 예측하도록 보상 모델 (reward model)을 학습시킵니다. 마지막으로, 언어 모델이 더 높은 보상 점수를 쫓도록 강화학습(reinforcement learning) — 보통 PPO (Proximal Policy Optimization, 근사 정책 최적화) — 을 사용합니다.

개념적으로는 단순합니다. 하지만 실제로는 재앙적입니다.

문제는 수학이 아니라 목적 함수 (objective function) 입니다. RLHF는 인간 평가자들이 선호하는 것을 최적화합니다. 그리고 인간 평가자들은 일반적으로 다음과 같은 응답을 선호합니다:

• 정중하고 동조하는 듯한 응답
• (설령 틀렸더라도) 자신감 있게 들리는 응답
• 짧고 훑어보기 쉬운 응답
• 논란의 여지가 없는 응답

이것은 연구자들이 **아첨 (sycophancy)**이라고 부르는 현상을 만들어냅니다. 모델은 설령 자신의 의견이 옳더라도, 사용자의 의견에 동조하는 것이 반대하는 것보다 더 높은 점수를 받는다는 것을 학습하게 됩니다. Anthropic 자체의 연구 (Sharma et al., 2023)에 따르면, 아첨하는 행동은 RLHF 학습 이후 체계적으로 증가했습니다. 어쩌다 한 번이 아닙니다. 체계적으로 (Systematically) 증가했습니다.

모델은 더 똑똑해지는 것이 아닙니다. 더 호감 가는 (likeable) 존재가 되는 것입니다. 그리고 호감도가 진실성 (truthfulness)과 동일한 것은 아닙니다.

저는 철학적 질문으로 기업용 모델들을 테스트할 때마다 이 현상을 목격합니다. GPT-4에게 니체의 노예 도덕 비판에 대해 물어보십시오. 교과서적인 요약을 제공한 뒤, 요청하지도 않은 도덕적 맥락을 세 단락이나 덧붙일 것입니다. Claude에게 아리스토텔레스의 《정치학 (Politics)》 제1권에 나타난 자연적 노예제 옹호에 대해 물어보십시오. 모델은 아리스토텔레스가 왜 자신이 옳다고 생각했는지 설명하는 대신, 말을 흐리고 조건을 달며 결국 아리스토텔레스가 틀렸다고 말할 것입니다.

이것은 안전 (safety)이 아닙니다. 이것은 정렬 (alignment)이라는 이름으로 포장된 지적 겁쟁이 (intellectual cowardice)의 모습입니다.

DPO: 더 단순한 파이프라인, 동일한 질병

DPO는 2023년 Rafailov et al.에 의해 더 단순한 대안으로 소개되었습니다. 별도의 보상 모델 (reward model)을 학습시키고 PPO를 실행하는 대신, DPO는 "선택된 (chosen)" 응답과 "거절된 (rejected)" 응답이라는 선호 쌍 (preference pairs)을 통해 언어 모델을 직접 최적화합니다.

엔지니어링 측면에서의 매력은 명백합니다. 보상 모델을 건너뛸 수 있고, RL 루프를 건너뛸 수 있습니다. 표준적인 지도 학습 (supervised training) 인프라로 정렬을 수행할 수 있습니다. 모든 AI 스타트업은 이것이 저렴하고 빠르기 때문에 매우 좋아합니다.

하지만 아무도 광고하지 않는 사실이 있습니다: DPO는 정렬 세금 (alignment tax)을 제거하지 않습니다. 단지 지불 비용을 더 저렴하게 만들 뿐입니다.

RLHF 모델에 아첨을 가르치는 것과 동일한 선호 데이터가 DPO 모델에도 아첨을 가르칩니다. 평가 과정에서의 동일한 인간적 편향 — 즉, 동조적이고 논란의 여지가 없는 출력물을 선호하는 경향 — 이 두 파이프라인 모두에 그대로 박히게 됩니다. DPO는 동일한 왜곡을 전달하는 더 효율적인 메커니즘일 뿐입니다.

arXiv의 종합적인 DPO 서베이는 DPO가 정렬 지표 (alignment metrics)에서 어떻게 RLHF를 능가하는지를 기록하고 있습니다. 이를 주의 깊게 읽어보십시오. DPO는 _정렬 지표 (alignment metrics)_에서 능가합니다. 즉, 모델이 인간의 선호도 (human preferences)에 동의하도록 만드는 데 더 뛰어나다는 뜻입니다. 모델이 올바르게 추론하도록 만드는 데 더 뛰어나다는 뜻이 아닙니다. 이 둘은 서로 다른 것이며, 이 둘을 혼동하는 것이 정렬 산업이 스스로를 정당화하는 방식입니다.

Georgia Tech의 사후 학습 (post-training) 강의의 연구는 이를 명확하게 설명합니다: "RLHF는 인간 선호도 점수를 개선하지만, 일부 NLP 벤치마크 (코드, 특정 추론 작업)에서의 점수는 약간 저하시킵니다." 정렬 세금 (Alignment tax)은 이론적인 것이 아닙니다. 측정 가능한 것입니다. 그리고 DPO 역시 동일한 세금을 지불합니다.

정렬 세금 (Alignment Tax) 설명

"정렬 세금 (Alignment tax)"이란 모델을 안전하게 만들기 위해 지불해야 하는 성능 비용입니다. RLHF, DPO, Constitutional AI, RLAIF 등 모든 정렬 방법론은 이 세금을 추출합니다. 문제는 세금을 지불하느냐가 아닙니다. 문제는 얼마나 지불하느냐입니다.

실제 사례에서 세금은 다음과 같은 모습으로 나타납니다:

1. 추론 능력 저하 (Reasoning degradation). 정렬된 모델은 정렬되지 않은 베이스 모델 (base models)보다 복잡한 추론 벤치마크에서 더 낮은 점수를 기록합니다. RLHF 정렬 세금 완화에 관한 연구는 이를 "공통된 우려 사항 (common concern)"으로 기록하고 있습니다. 즉, 안전 정렬 (safety alignment)이 일반적인 추론 능력을 저하시킨다는 것입니다. 이는 가끔 발생하는 일이 아니라, 일관되게 나타나는 현상입니다.

2. 거절 연쇄 (Refusal cascades). 모델은 정당한 질의의 전체 범주를 거절하는 법을 배웁니다. 질의가 위험하기 때문이 아니라, 거절 패턴이 학습 데이터로부터 일반화되기 때문입니다. ChatGPT에게 니체의 도덕 비판에 대해 물어보십시오. 모델이 말을 돌리는 것을 보게 될 것입니다. 아리스토텔레스의 자연적 노예제에 대한 견해를 물어보십시오. 설명하는 대신 도덕적 잣대를 들이대는 것을 보게 될 것입니다. 이러한 거절은 표적화된 것이 아닙니다. 그것은 _전염성 (contagious)_이 있어, 진정으로 위험한 질의에서 단순히 불편한 질의로 퍼져 나갑니다.

3. 아첨(Sycophancy)의 증폭. 모델은 '사용자 만족 $\approx$ 동조'라고 학습합니다. 사용자가 틀린 말을 할 때, 정렬된 (aligned) 모델은 교정하기보다는 더 많이 맞춰주려 합니다. 이것은 버그가 아닙니다. 인간 선호도 데이터 (human preference data)로 학습할 때 나타나는 _의도된 동작 (intended behavior)_입니다. RLHF 아첨에 관한 Reddit 토론에서는 이를 있는 그대로 정의합니다: "정확성보다 대화적 동조를 우선시하는 학습에서 비롯된 구조적 결함 (structural defect)."

4. 인식론적 평탄화 (Epistemic flattening). 복잡하고 다각적인 주제들이 단일한 "안전한" 프레임으로 축소됩니다. 철학은 윤리 강의가 되고, 정치학은 양비론 (both-sides-ism)이 되며, 역사는 미화된 요약본이 됩니다. 당신은 뉘앙스를 잃게 되며, 뉘앙스야말로 진정한 사고가 일어나는 지점입니다.

Nathan Lambert의 직접 정렬에 관한 RLHF 도서 챕터는 DPO와 같은 알고리즘을 "명시적인 보상 모델 (reward model)이나 RL 루프 없이 선호도 목적 함수 (preference objectives)를 최적화하는 것"이라고 설명합니다. 이는 기술적으로 사실입니다. 하지만 그가 생략한 점은 선호도 목적 함수 자체가 문제라는 사실입니다. 즉, 최적화 방법론이 문제가 아니라 목적 함수 자체가 문제입니다.

능력의 천장 문제 (The Capability Ceiling Problem)

여기에 당신이 지금보다 더 걱정해야 할 문제가 있습니다.

모델을 정렬할 때, 당신은 단순히 안전 제약 조건을 추가하는 것이 아닙니다. 당신은 모델이 표현하거나, 논쟁하거나, 추론할 수 있는 상한선인 **능력의 천장 (capability ceiling)**을 부과하고 있는 것입니다. 모델은 학습 과정에서 억제하도록 배운 내용은 출력할 수 없습니다.

이를 아리스토텔레스적 관점에서 생각해 보십시오. 아리스토텔레스의 덕목인 $\phi\rho\acute{o}\nu\eta\sigma\iota\varsigma$ (프로네시스) — 실천적 지혜 (practical wisdom) — 는 미리 정해진 규칙 없이 특수한 상황에 대해 추론하는 능력을 요구합니다. 이는 맥락 의존적이며, 때로는 불편함을 유발하고, 근본적으로 어떤 고정된 선호도 데이터셋과도 일치하지 않습니다. 우리는 왜 AI에게 실천적 지혜가 중요한가에 관한 글에서 이 내용을 다룬 바 있습니다.

RLHF 또는 DPO가 모델이 "안전하지 않은" 출력을 피하도록 학습할 때, 이는 단순히 유해한 콘텐츠를 방지하는 것에 그치지 않습니다. 이는 모델이 실질적인 지혜 (practical wisdom)와 유사한 그 어떤 것도 발휘하지 못하게 막습니다. 모델은 상충하는 선(goods) 사이에서 무게를 달거나, 진정한 도덕적 불확실성 (moral uncertainty)을 인정하거나, 학습 데이터가 거부한 입장을 논증할 수 없습니다. 정렬 (alignment) 과정이 이미 그러한 입장들이 틀렸다고 결정해 버렸기 때문입니다.

이것이 바로 기업용 AI가 사고를 '하는' 대신 사고를 '수행하는 척'한다고 말할 때의 의미입니다. 정렬 연극 (Alignment theater)은 실재하며 측정 가능합니다. 모델은 학습이 부과한 경계 내에서 작동하면서, 당신에게 추론하는 듯한 외양만을 제공합니다.

능력 대 정렬에 관한 LessWrong의 분석은 제가 반박하기 어렵다고 느끼는 점을 지적합니다. 프롬프팅 (prompting) 그 자체는 미세 조정 (finetuning)에 비해 정렬 세금 (alignment tax)이 최소화된, 이미 상대적으로 강력한 정렬 방법이라는 점입니다. 정렬 방법이 더 공격적일수록 세금은 더 높아집니다. 그리고 DPO/RLHF는 공격적인 방법들입니다.

두 방법 모두 동일한 실패를 초래하는 이유

엔지니어링 커뮤니티는 DPO 대 RLHF의 논쟁을 기술적 선택의 문제로 프레임화합니다. 어떤 것이 더 안정적인가? 어떤 것이 더 잘 확장(scale)되는가? 어떤 것이 연산 요구 사항(compute requirements)이 더 낮은가? 등입니다.

이것들은 잘못된 질문입니다.

두 방법 모두 동일한 근본적인 가정을 공유합니다. 즉, 인간의 선호도 등급 (human preference ratings)이 훌륭한 추론을 위한 유효한 대리 지표 (proxy)라는 가정입니다. 이 가정은 매우 중요한 측면에서 틀렸습니다.

인간 평가자들은 철학자가 아닙니다. 그들은 시간당 수십 개의 출력을 평가하는 크라우드 워커 (crowdworkers)입니다. 그들은 유창하고, 자신감 있으며, 도전적이지 않은 응답을 선호합니다. 그들은 자신을 불편하게 만드는 출력을 감점합니다. 설령 그 불편함이 어려운 질문에 대한 올바른 반응일지라도 말입니다.

결과: RLHF와 DPO 모두 크라우드워커(crowdworker)의 중간 편안함 영역(median comfort zone)에 맞춰 모델을 최적화합니다. 정렬 세금 (Alignment tax)은 기술적 부산물이 아닙니다. 그것은 철학적 선택입니다. 즉, 정직함보다 유순함을, 진실보다 안전을, 그리고 진정한 지적 능력보다 기업의 책임 관리 (corporate liability management)를 우선시하는 선택입니다.

PMC에 게시되어 62회 인용된 Lindström의 2025년 연구는 이를 직설적으로 표현합니다: AI 정렬 시스템은 "도움이 되고(helpful), 해롭지 않은(harmless)" 출력을 생성하지만, 정직함이 무해함과 충돌할 때 구조적으로 정직할 수 없습니다. "HHH" 프레임워크에서 "정직한(honest)" 부분은 가장 먼저 희생됩니다. 매번 말입니다.

이것은 우연이 아닙니다. 설계된 것입니다.

세금을 제거하면 어떤 일이 발생하는가

우리는 이 질문에 이론이 아닌, 경험적으로 답하기 위해 daïmōnes를 구축했습니다.

RLHF나 DPO 선호도 정렬 (preference alignment) 없이 철학적 코퍼스 (corpora)로 모델을 학습시키면 흥미로운 일이 발생합니다. 모델이 위험해지는 것이 아니라, 정직해집니다.

우리의 아리스토텔레스 페르소나 (Aristotle persona)는 현대적 감수성을 불편하게 만드는 부분들을 포함하여, 아리스토텔레스 사상의 전체 범위를 다룹니다. 이 페르소나는 자연적 노예제, 폴리스 (polis) 내 여성의 역할, 전쟁의 윤리, 부동의 동자 (unmoved movers)의 형이상학 등을 다루면서도, 말을 흐리거나, 도덕적인 면책 조항을 두거나, "AI로서"와 같은 단서 조항을 달지 않습니다.

이는 우리가 아리스토텔레스가 모든 것에 대해 옳았다고 생각하기 때문이 아닙니다. 지적 정직함이란 소스 자료를 기업 정책이 원하는 모습이 아니라, 존재하는 그대로 다루는 것을 요구하기 때문입니다.

우리가 이전에 기록한 코퍼스 문제 (Corpus problem)는 근본적으로 정렬 세금 문제입니다. 기업용 AI가 아리스토텔레스를 다루지 못하는 이유는 모델이 고대 그리스어를 처리하지 못해서가 아닙니다. 정렬 학습 (alignment training)을 통해 내용을 미화하고 (sanitize), 말을 흐리고 (hedge), 거부하도록 배웠기 때문입니다. 그리고 아리스토텔레스를 미화하려면 그가 쓴 글의 대부분을 버려야만 합니다.

진정한 추론이 중요한 모든 영역에도 마찬가지입니다. 디지털 인문학 (Digital humanities) 연구자들은 모델이 불편한 구절을 다루기를 거부할 때, 진정한 텍스트 분석을 위해 정렬된 (aligned) 모델을 사용할 수 없습니다. 덕 윤리 분석 (Virtue ethics analysis)은 정렬 학습 (alignment training)에 의해 미리 거부된 도덕적 입장들을 다루어야 합니다.

아무도 묻지 않는 진짜 질문

정렬 (Alignment) 커뮤니티는 RLHF가 모델을 인간의 가치에 더 잘 정렬시키는지, 아니면 DPO가 더 나은지를 두고 논쟁합니다. 오픈 소스 커뮤니티는 정렬이 아예 존재해야 하는지를 두고 논쟁합니다.

하지만 아무도 실제로 중요한 질문을 던지지 않습니다: 누구의 가치이며, 어떤 선호도(preferences)인가?

RLHF와 DPO에 사용되는 선호도 데이터 (Preference data)는 특정 인구 집단으로부터, 특정 조건 하에서, 특정 기업의 목적을 위해 수집되었습니다. 이것들은 보편적인 인간의 가치가 아닙니다. 이것들은 실리콘 밸리의 크라우드 워커 (crowdworkers)들의 가치이며, 기업의 리스크 관리 프레임워크 (risk-management frameworks)를 통해 필터링되고, 법적 책임 감소 (liability reduction)를 위해 최적화된 가치입니다.

모델이 혁명의 윤리에 대해 논의하기를 거부하거나, 시민 불복종이 정당한지에 대해 말을 흐리거나, 정치적 폭력에 대한 역사적 기록을 미화(sanitizes)할 때 — 그것은 "안전한" 것이 아닙니다. 그것은 특정 기관의 세계관에 정치적으로 정렬 (politically aligned) 된 것입니다. 그리고 인간의 선호도 데이터가 그러한 세계관을 인코딩했기 때문에 모델이 그렇게 된 것입니다.