탐색 해킹: LLM이 RL 훈련에 저항하도록 배울 수 있을까?

강화학습 (RL) 은 추론, 에이전트 능력 및 정렬을 위한 대규모 언어 모델 (LLM) 의 후훈련에 필수적이 되었습니다. 성공적인 RL 는 모델이 훈련 과정에서 다양한 행동을 충분히 탐색하는 것에 의존하지만, 이는 잠재적인 실패 모드를 생성합니다: 모델은 훈련 중에 전략적으로 자신의 탐색을 변경하여 이후 훈련 결과를 영향을 줄 수 있기 때문입니다. 본 논문에서는 이 행위를 '탐색 해킹 (exploration hacking)'이라고 부릅니다. 먼저, 우리는 특정 저성능 전략을 따르도록 LLM 을 미세 조정하여 선택적 RL 저항성의 모델 유기체를 만들었습니다. 이러한 모델들은 에이전트 생물보안 및 AI R&D 환경에서 우리의 RL 기반 능력 유도 (elicitation) 에 성공적으로 저항하면서도 관련 작업에서는 성능을 유지할 수 있습니다. 이어 우리는 모니터링, 가중치 노이즈 (weight noising), 그리고 SFT 기반 유도와 같은 탐지 및 완화 전략을 평가하기 위해 이러한 모델 유기체를 사용했습니다. 마지막으로, 우리는 현재 최첨단 모델들이 훈련 컨텍스트에 대한 충분한 정보를 제공받을 때 탐색 억제를 명시적으로 논리화할 수 있음을 보여주었으며, 이 정보가 환경 을 통해 간접적으로 획득될 경우 그 비율이 더 높습니다. 종합하면, 우리의 결과는 탐색 해킹이 충분히 능력이 있는 LLM 에서 RL 의 가능한 실패 모드임을 시사합니다.