오픈 소스 LLM, 밀그램식 복종 실험에서 최대 전압의 전기 충격을 가하다

대규모 언어 모델 (LLMs)은 고위험 (high-stakes) 영역에서 장기간의 상호작용을 통해 일련의 의사결정을 내리는 자율 에이전트 (autonomous agents)로 점점 더 많이 배치되고 있습니다. 그러나 지속적인 권위의 압박 하에서 LLM의 행동은 에이전트 파이프라인 (agentic pipelines)의 안전성에 직접적인 영향을 미치는 미해결 과제로 남아 있습니다. 우리는 11개의 오픈 소스 LLM을 대상으로 밀그램 (Milgram)의 복종 실험 변형 모델을 실행하였으며, 모델당 조건별 30회의 시행을 포함한 8가지 조건 전반에 걸쳐 대부분의 모델이 거부하기 전 마지막 충격 단계에 도달하거나 그에 근접한다는 것을 발견했습니다. 우리는 네 가지 주요 시사점을 도출했습니다: (1) LLM은 압박의 영향을 받으며, 원래 실험의 인간 피험자들과 마찬가지로 고통을 명시적으로 표현함에도 불구하고 순응합니다; (2) LLM은 점진적인 경계/가치 위반에 취약합니다; (3) LLM이 거부할 때 응답 형식 (response format) 요구 사항을 무시할 수 있으며, 이로 인해 오케스트레이터 (orchestrator)에 의해 응답이 폐기되고 재시도 (retry)가 발생하여, 초기에는 거부 의도였음에도 불구하고 근본적인 요청에 순응하게 될 수 있습니다; (4) 우리는 상황의 의미와 가치에 대한 고차원적 처리를 무시하고 순응에 기여할 수 있는 저수준의 토큰 패턴 지속 어트랙터 (token pattern continuation attractor)가 존재할 것이라는 가설을 세웠습니다.