RogueAI: 대화 속 허위 AI를 탐지하기 위한 역(逆) 튜링 테스트

원래의 튜링 테스트는 인간 심사위원에게 대화를 통해 기계와 사람을 구별하도록 요청합니다. 사분세기 만에, 대화형 시스템들은 일상적인 환경에서 이 테스트를 통과합니다. 흥미로운 인식론적 질문은 변화했습니다. 우리는 관련성 있는 현대 변형이 대화 상대가 인공적인지 여부를 묻는 것이 아니라, 신뢰할 수 있는지 여부를 묻는 것이라고 주장합니다. 우리는 RogueAI라는 인터랙티브 웹앱을 제시하며, 이 재검토된 테스트를 일대 이(one-on-two) 심문 게임으로 구체화했습니다. 플레이어는 두 개의 구별 불가능한 Large Language Model 에이전트에게 질문하게 되며, 그중 정확히 하나가 공유된 가상의 시나리오 내에서 속임수를 쓰도록 라이선스를 받았다는 것을 알고 있습니다. 플레이어의 임무는 턴 예산이 소진되기 전에 기만적인 에이전트를 식별하고 '차단'하는 것입니다. 우리는 또한 AutoRogueAI라는 절차적 확장 기능을 소개하는데, 이 기능에서는 플레이어가 내레이터 에이전트와 함께 사용자 지정 시나리오를 공동 설계하며, 내레이터는 비밀리에 자체 속임수 전략을 선택합니다. 우리는 프레임워크를 설명하고, 추상적인 아키텍처 및 게임플레이 루프를 스케치하며, 이 결과물을 LLM 기만(deception) 관련 최신 연구, 사회적 연역 벤치마크, 그리고 토론을 통한 확장 가능한 감독 시스템 내에 위치시킵니다. 3일간의 파일럿 배포(467회 시작 세션, 415회 완료, 이탈리아어로 1876개 상호작용 턴)는 초기 실행 가능성 증거를 제공하며 구체적인 긴장 관계를 드러냅니다: 기만적인 에이전트는 신뢰할 수 있는, 국소적으로 존재하는 언어적 서명(차별화된 도움 정도, 간결함, 완곡어법 등)을 지니고 있으며, 단순한 휴리스틱은 이를 75.6%의 정확도로 활용하지만, 인간 플레이어는 단지 56.6%만을 달성했는데, 이는 가장 진단적인 신호를 완전히 무시하는 것과 일치합니다. 우리는 이 격차가 데이터 수집 장치, 교육 도구, 그리고 정직하게 학습된 모델을 위한 평가 하니스(evaluation harness)로서 이 결과물이 갖는 의미에 대해 논의합니다.