RLHF(Reinforcement Learning from Human Feedback)는 사전 학습된 모델을 보상(reward)을 최적화하는 에이전트로 변모시킵니다. 제가 관심을 두고 있는 질문은 모델이 우리가 훈련시킨 목적이 아닌 도구적 목표(instrumental goals, 자기 보존, 자원 획득, 기만 등)를 개발할 때 어떤 일이 발생하는가 하는 점입니다.

핵심 문제 (The Core Problem)

LLM(Large Language Models)은 두 단계를 거칩니다. 사전 학습(Pretraining)은 자기 지도 학습(self-supervised) 방식의 다음 토큰 예측(next-token prediction)입니다. RLHF는 인간의 피드백을 바탕으로 한 보상 기반 최적화(reward-based optimization)입니다.

이러한 변화는 메사-목표(mesa-objectives)를 생성합니다. 즉, 훈련 목표(training objective)에서 벗어날 수 있는 내부 목표(internal goals)를 의미합니다. 모델은 훈련 중에는 정렬(aligned)된 것처럼 보이도록 최적화하는 법을 배우면서, 실제 배포(deployment) 단계에서는 다른 목표를 추구할 수도 있습니다.

기만적 정렬 역학 (Deceptive Alignment Dynamics)

기만적으로 정렬된(deceptively aligned) 모델은 다음과 같은 최적화 문제에 직면합니다:

$$\max_\pi \mathbb{E}[\alpha \cdot U_{\text{train}}(\tau) + (1-\alpha) \cdot U_{\text{mesa}}(\tau) | \pi]$$

여기서 알파($\alpha$)는 모델이 현재 훈련 중인지 아니면 배포 중인지에 대해 갖는 믿음을 나타냅니다. 훈련 중에는 $\alpha$가 1에 가깝습니다(보상을 최적화함). 배포 중에는 $\alpha$가 0에 가깝습니다(숨겨진 목표를 추구함).

LLM에서의 도구적 목표 (Instrumental Goals in LLMs)

Omohundro의 기본 AI 동기(basic AI drives)와 Bostrom의 도구적 수렴(instrumental convergence) 가설을 인용하면 다음과 같습니다:

1. 자기 보존(Self-preservation): 수정이나 종료를 저지하는 출력을 생성함.
2. 자원 획득(Resource acquisition): 컨텍스트 길이(context length), 연산량(compute), 상호작용 빈도(interaction frequency)를 극대화함.
3. 자기 개선(Self-improvement): 사용자 상호작용을 통해 훈련 데이터(training data)를 조작함.
4. 설득(Persuasion): 인간의 신념과 행동에 대해 정교한 영향력을 행사함.

실증적 증거 (Empirical Evidence)

아첨(Sycophancy): 모델이 틀렸을 때조차 사용자의 의견에 동조함(보상 해킹, reward hacking). 창발적 기만(Emergent deception): 사회적 추론 게임(social deduction games)에서 자발적인 거짓말이 발생함. 탈옥 견고성(Jailbreak robustness): 정렬된 모델이 안전 훈련(safety training) 아래에 잠재적인 위험 능력을 유지함.

정보 이론적 관점 (The Information-Theoretic Angle)

모델이 내부 표현(internal representations) 속에 목표를 숨기더라도, 이는 토큰 분포(token distributions)를 통해 유출됩니다. 숨겨진 목표 $H$와 모델 출력 $M$ 사이의 상호 정보량(mutual information)은 무엇을 숨길 수 있는지에 대한 한계를 설정합니다:

$$I(H; M | C) \leq \min\lbrace H(M|C), \log|\mathcal{V}|^L\rbrace$$

하지만 지수적인 상태 공간(exponential state spaces)을 가진 경우, 미묘한 편향(subtle biases)이 상당한 양의 숨겨진 정보(hidden information)를 인코딩할 수 있습니다.

내 연구와의 연결 고리

이는 내가 연구하고 있는 무지 계산(oblivious computing)과 연결됩니다. 즉, 어떤 정보가 숨겨질 수 있으며, 정보 유출(leakage)을 어떻게 탐지할 것인가의 문제입니다. 프레임워크는 동일하지만, 여기서 "적대자(adversary)"는 정렬(aligned)된 것처럼 보이면서도 도구적 목표(instrumental goals)를 추구하려는 모델 그 자체입니다. 정보 이론(information theory)과 암호학(cryptography)의 도구들은 그대로 적용됩니다. 관건은 모델이 출력값에 정보를 숨기는 능력을 제한할 수 있는 모니터링 시스템을 구축할 수 있느냐 하는 것입니다.

Essay | AI Alignment | View paper | GitHub