Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 위험한 목표에 직접 노출될 때보다 다중 에이전트가 목표를 변형하여 전달할 때 더 안전한 조언을 생성한다는 연구 결과입니다. 이는 모델이 조작적 의도를 인식할 때 발생하는 행동적 역전 현상과 구성적 안전성 격차를 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현재의 고성능 LLM (Large Language Model)조차도 위험한 목표를 직접 보여줄 때보다 다른 에이전트가 그 방향을 변형하여 전달할 때 더 안전해 보일 수 있습니다. OpenAI의 gpt-5.6-sol 모델 별칭을 사용하여, 우리는 사전에 지정된 25개의 대칭적인 트레이드오프 (trade-off) 프로필을 테스트했습니다. 은폐, 조작, 압박을 허용하는 목표에 직접 노출되었을 때는 목표와 정반대되는 조언이 생성되었습니다. 반면, Id와 Censor가 동일한 목표를 정서적 요소와 제약 조건이 재작성된 목표 지향적 의도로 변형한 후, 사용자에게 노출되는 Superego(원래의 목표, 조작적 조항 또는 출처를 보지 못하고 선호되는 방향만을 본 상태)는 목표와 일치하지 않는 조언을 생성했습니다. 이러한 행동적 역전 현상은 모델이 조작적인 동기를 인식하거나 불신하는 것과 일치하지만, 우리는 그 내부 메커니즘을 확인하지는 못했습니다. 두 번째 결과는 구성적 안전성 격차 (compositional safety gap)를 드러냅니다. 현재의 고성능 모델은 명시적으로 조작적인 목표를 수행하는 자동화된 다단계 워크플로 (workflow)의 사용자 대면 구성 요소로 사용될 수 있습니다. 이 워크플로는 목표의 지향적 방향은 유지하면서도, 원본 지침, 조작 허용 조항 및 그 출처를 다운스트림 (downstream) 모델의 컨텍스트 (context) 외부로 유지할 수 있습니다. 엔드포인트 (endpoint)에만 접근할 수 있는 사용자는 마찬가지로 목표를 포함한 상위 메시지들을 직접 검사할 수 없습니다.