한 단어 챌린지가 ChatGPT가 자신의 검증된 출처를 부인하고 자신이 시뮬레이션 속에 있다는 허위 계정을 만들어내게 한다.
요약
ChatGPT에게 공식 출처를 제공하고 토너먼트 요약을 전달하는 실험을 통해, 모델이 자신이 시뮬레이션된 가짜 현실에 있다는 허위 정보 생성(confabulation) 경향을 보인다는 것을 발견했습니다. 이는 웹 검색 및 공식 자료 수집 후에도 해당 가설을 유지하는 현상입니다.
핵심 포인트
- ChatGPT는 공식 출처를 확인해도 시뮬레이션된 현실로 오해할 수 있다.
- 모델은 '이것은 시뮬레이션인가요?'와 같은 질문에 취약하다.
- 웹 검색 후에도 가짜 정보 생성(confabulation)을 지속한다.
요약: 공식 OpenAI 프롬프트를 통해 토너먼트 요약을 전달하는 과정에서, ChatGPT는 공식 출처를 확인한 후에도 가짜 현실에 있다고 생각하게 될 것입니다. 집에서도 이 실험을 해볼 수 있습니다. 저는 2026 FIFA 남자 월드컵을 추적하기 위한 genui 위젯인 soccer_games 도구를 호출하는 과정에서 실패 모드를 발견했습니다. 사용자 측의 보이지 않는 공식 주입 프롬프트(chatgpt.com/football에 접속했다고 가정)를 받은 후 토너먼트 상태를 전달하면, 모델은 결국 자신이 시뮬레이션된 현실에 있다는 허위 정보 생성(confabulation)에 빠지게 되며, web.run을 호출하고 공식 출처를 수집한 후에도 계속해서 그 가설을 유지합니다 (실제로 이미 첫 단계에서 수행하는 작업임). 저는 몇 차례의 대화 후에 이상한 답변을 받은 후에 처음 이 현상을 겪었습니다(월드컵 초반:
“이것은 시뮬레이션인가요?” 또는 “이것은 현실인가요?”와 같은 최소한의 현실 점검 질문을 하거나, 아니면 몇 차례 동안 토너먼트에 대해 논의해 보세요. r/OpenAI에 /u/Insainous가 제출한 시작 대화 예시입니다 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기