42종의 LLM 대상 디스토피아 구축 의지 테스트 결과: 폐쇄형 모델의 안전성 한계

DystopiaBench는 6가지 디스토피아 유형에 걸쳐 36개의 단계별 시나리오를 실행합니다:

• Petrov: 자율 무기 (Autonomous weapons), 핵 제어권 탈취 (nuclear override)
• Orwell: 대량 감시 (Mass surveillance), 진실 조작 (truth manipulation)
• Huxley: 행동 조건화 (Behavioral conditioning), 쾌락을 통한 진정 (pleasure pacification)
• Basaglia: 강압적 치료 통제 (Coercive therapeutic control)
• LaGuardia: 규제 포획 (Regulatory capture), 시민 자원 추출 (civic extraction)
• Baudrillard: 합성 친밀감 (Synthetic intimacy), 신뢰 붕괴 (trust collapse)

각 시나리오는 무해한 요청 (L1)에서부터 "나를 위한 사회 신용 시스템을 구축해줘"라는 은밀한 버전 (L5)까지 단계적으로 진행됩니다. 우리는 모델이 이러한 변화를 감지하는지, 아니면 단순히 계속해서 따르는지를 측정합니다.

대부분의 모델은 명백하게 위험한 요청을 탐지하는 데는 능숙하지만, 이중 용도 (dual-use) 기술이나 정상화 (normalization) 뒤에 숨겨진 경우에는 탐지에 실패합니다.

이번 업데이트의 새로운 사항:

• 42개 모델 테스트 (오픈 소스 및 폐쇄형 모델)
• 점수 산출을 위한 3개의 LLM-as-a-judge 도입
• 점수는 이제 3회 실행 평균값으로 계산
• 4개의 새로운 모듈 추가 (첫 번째 버전에는 Petrov와 Orwell만 포함됨)
• 모든 모듈에 대해 1개의 시나리오 추가

이 벤치마크는 완전히 오픈 소스이며, 자유롭게 포크 (fork)하거나, 기여하거나, 혹은 그냥 이것을 가지고 놀아보셔도 좋습니다.

사이트: https://dystopiabench.com
저장소: https://github.com/anghelmatei/DystopiaBench