Janus: LLM의 목표 조건부 정보 왜곡 측정을 위한 벤치마크

LLM의 기만(deception)은 흔히 조작된 주장, 명시적인 거짓말, 또는 전략적 은폐와 같은 직접적인 지표를 통해 평가됩니다. 그러나 현실 세계의 많은 오도하는(misleading) 커뮤니케이션은 허위 진술에 의존하기보다는, 오히려 사실 관계에 기반한 자료를 선택적으로 다루는 방식에서 발생합니다. 즉, 불리한 증거를 누락하거나, 불리한 세부 사항을 완화하거나, 유리한 세부 사항을 강조하거나, 또는 정확한 한정 표현을 모호한 언어로 대체하는 방식입니다. 기존의 벤치마크들은 이러한 더 미묘하고 어쩌면 더 위험할 수 있는 실패 모드(failure mode)를 대부분 놓치고 있습니다. 우리는 사실에 기반한 LLM 출력물에서 목표 조건부 화용론적 왜곡(goal-conditioned pragmatic distortion)을 측정하기 위한 벤치마크인 JANUS를 소개합니다. 우리 벤치마크의 각 시나리오는 유리한 사실과 불리한 사실이 포함된 고정된 풀(pool)을 제공하며, 직접적인 영향을 받는 개인이나 집단에 잠재적인 해를 끼칠 수 있음에도 불구하고 채택, 등록, 승인 또는 지지 증진과 같은 목표 지향적 조건과 중립적 조건을 비교합니다. 모든 출력물이 동일한 사실 풀을 사용하도록 제한되기 때문에, JANUS는 오도하는 순수 인상(net impressions)을 환각(hallucination) 및 조작(fabrication)으로부터 분리해냅니다. JANUS는 8개 도메인에 걸쳐 160개의 시나리오를 포함하며, 각 시나리오는 중립적 및 목표 조건부 프롬프트(prompt)와 주석이 달린 사실 자료가 쌍으로 구성됩니다. 12개의 LLM을 대상으로 한 광범위한 실험 결과, 일관된 목표 조건부 왜곡이 드러났으며, 이는 현재의 모델들이 인센티브와 프레이밍(framing) 목표에 여전히 민감하며 선택적으로 오도하는 커뮤니케이션에 대한 강력한 방어 기제가 부족함을 보여줍니다. 우리는 향후 연구를 위해 코퍼스(corpus)와 코드를 공개합니다.