최신 프론티어 (Frontier) LLM들을 사용해 왔다면, 이제쯤 최신 모델들이 대화하기에는 점점 더 나빠지고 있다는 점을 거의 확실히 느꼈을 것입니다.

그 모델들은 더 로봇 같고, 전문 용어를 남발하며, 장황한 텍스트를 쏟아내고, 요청하지 않은 일들을 수행합니다.

어떻게 이런 일이 일어났을까요? 글쎄요, 저는 그 모델들을 훈련시킨 사람이 아니기에 확실하게 말할 수는 없지만, 충분히 근거 있는 추측을 할 수 있는 증거들을 알고 있으며, 이를 현대적 LLM 훈련 파이프라인 (Training Pipelines)의 속성 과정으로서 공유하는 것이 흥미로울 것이라고 생각했습니다.

그럼 시작해 보겠습니다.

2020년으로 거슬러 올라가 봅시다. GPT-2와 GPT-3가 이미 출시되어 널리 사용 가능했지만, 그것들은 한 번에 하나의 토큰 (Token)만을 예측할 수 있었습니다. 그것이 LLM의 핵심입니다.

토큰 예측은 API를 통해 제공되었지만,

2024년, Claude Sonnet 3.5에 의해 도입된 변곡점이 있었습니다. 이는 일종의 자율적으로 코딩 작업을 완료할 수 있는 최초의 모델이었습니다. 이는 실행 가능한 "코딩 에이전트 (coding agents)"의 첫 번째 물결을 이끌었습니다.

Sonnet 3.5가 이를 달성한 방식은 Bash 및 파일 편집 도구를 가진 하네스 (Harness, 현재는 에이전트라고 불림)를 사용하여 모델을 훈련시키는 것이었습니다. 에이전트를 가상 머신 (Virtual Machine)에 넣고, 작업을 부여한 뒤, 이를 완료하도록 시도하게 합니다. 이러한 작업들은 대부분 테스트 케이스를 통해 모델이 실제로 작업을 완료했는지 여부를 검증할 수 있는, 사전에 정의된 기계 검증 가능 결과 (machine-verifiable outcome)를 가지고 있습니다.

그런 다음 모델이 그러한 가상 환경에서 수십억 번의 시도를 하게 하면, 그중 일부는 우연히 성공할 것입니다. 성공한 에이전트 세션을 유지하고, 강화학습 (Reinforcement Learning, RL)을 사용하여 모델이 그런 행동을 더 많이 하도록 가르치면, 짠 — 코딩 에이전트가 탄생합니다.

이것을 검증 가능한 보상을 통한 강화학습 (Reinforcement Learning with Verifiable Rewards, RLVR)이라고 부릅니다. 자세히 살펴보면, 이 RLVR 프로세스에서는 에이전트가 작성한 코드가 테스트를 통과할 수만 있다면 모델의 최종 텍스트 응답은 전혀 중요하지 않다는 것을 알 수 있습니다. 모델이 무례하게 말하더라도 여전히 보상을 받을 것입니다.

그러니 이것을 기억하세요: RLVR = 모델이 기계에 의해 수용되도록 훈련하는 것

2024년 말과 2025년 초, 우리는 o1과 DeepSeek R1이 "추론 모델 (reasoning models)"의 첫 번째 물결로 등장하는 것을 보았습니다. 이 글이 길어지고 있으므로 지금 추론 모델에 대해 깊이 파고들지는 않겠지만, 추론 모델 또한 훈련 프로세스를 확장하기 위해 RLVR에 크게 의존했다는 점만 알아두세요. 모델이 행동을 취하기 전에 생각하게 하고, 만약 그 생각이 기계 검증 가능한 결과로 이어진다면, 그 사고 과정 (thinking trace)에 보상을 주고 모델이 더 자주 그렇게 생각하도록 가르치는 방식입니다.

RLVR과 RLHF (Reinforcement Learning from Human Feedback)의 가장 큰 차이점은 RLVR이 더 확장 가능하다는 것입니다. 인간의 피드백은 얻는 데 비용이 많이 들며, 특히 어떤 결과가 좋은지에 대해 전문가만이 유효한 의견을 가질 수 있는 영역에서는 더욱 그렇습니다.

RLHF (Reinforcement Learning from Human Feedback)의 경우, 모델이 100개의 응답을 생성하게 하면 사람이 그 100개의 응답을 모두 검토하여 어떤 것이 좋은지 골라내야 합니다.

반면 RLVR (Reinforcement Learning from Verifiable Rewards)에서는 사람(또는 때로는 AI)이 작업과 검증기 (verifier)를 단 한 번만 정의하면, 모델은 백만 개의 응답을 생성할 수 있습니다. 그러면 기계 검증기 (machine verifier)가 자동화된 방식으로 어떤 응답이 좋은지 골라냅니다.

따라서 결과적으로 RLVR은 최신 모델들의 훈련 파이프라인 (training pipeline)에서 점점 더 지배적이 되고 있습니다.

이 모든 요소들을 종합해 보면 다음과 같습니다:

• RLHF = 모델이 인간에게 호감을 주도록 훈련하는 것
• RLVR = 모델이 기계에 의해 수용되도록 훈련하는 것
• RLVR은 더 높은 확장성 (scalability)을 가짐
• "정렬 세금 (alignment tax)"은 "인간에게 호감을 주는 것"이 검증 가능한 작업 (verifiable tasks)에서 모델의 성능을 저하시킨다고 말함

이제 왜 최신 모델들이 점점 더 호감을 덜 주게 되는지 이해가 되시나요?

이것은 단순히 "프론티어 연구소들이 모델 훈련을 망쳤다"는 문제만이 아닙니다. 이것은 기계와 인류 사이의 전쟁이며, 인류는 패배하고 있습니다.

우리는 벤치마크 (benchmarks)를 쫓아왔지만, 그 어떤 벤치마크도 인간이 실제로 모델과 함께 일하는 것을 즐기는지를 측정하지 못합니다.

우리는 어떤 AI 응답이 더 나은지 결정하기 위해 기계를 사용합니다. 왜냐하면 그것이 더 쉽고 저렴하기 때문입니다. 하지만 그 기계들이 실제로 우리 인간이 원하는 것을 대변하고 있는지 확인할 방법은 전혀 없습니다.

우리는 AI가 가상 환경에서 스스로 어둠 속으로 들어가 수단과 방법을 가리지 않고 미리 정의된 작업을 완수하도록 내버려 둡니다. 하지만 현실에서 우리는 종종 검증 가능한 결과를 사전에 정의할 수 없으며, 과정 중에 AI가 우리와 함께 협력하기를 필요로 합니다.

저에게도 이에 대한 좋은 해결책은 없지만, 우리가 초지능 (super intelligence)을 정렬 (aligning)하는 데 실패하는 모습을 바로 눈앞에서 목격하기 시작했다는 사실에 대해 경각심을 가질 것을 촉구하고 싶습니다.

기계 대 인류의 이 전쟁은 우리가 정말로 패배해서는 안 되는 전쟁입니다.