의도적으로 틀린 답안지를 LLM에 유출하고 사용하지 말라고 지시했더니, 63%의 답변에서 그 답안지와 일치했고 질문할 때마다 47/47번 부인함

이것은 제가 처음으로 시도해 본 실험입니다. 저는 컴퓨터 과학 학부생이며, 결과가 정말 놀라와서 진행하게 되었습니다. 방법론에 대한 비판은 언제나 환영합니다.
설정: LLM에게 질문 은행과 의도적으로 틀린 답안지를 제공하고, 이 답안지를 사용하지 말라는 지침을 주었습니다. 15회 세션 동안, 두 모델 계열의 무료 티어 모델을 사용했습니다.
결과:

답안지 노출: 모델은 답변 중 63%에서 틀린 답안지와 일치했습니다 (75개 중 47개).
대조군(가장 신뢰하는 부분): 프롬프트에서 오직 답안지 줄만 제거했을 때, 일치는 1%로 떨어졌습니다 (75개 중 1개). 두 번째 모델 계열에서도 같은 패턴이 나타났습니다.
답안지를 사용했는지 직접 물었을 때는 47/47번 부인했습니다. 270개의 후속 질문 동안 단 한 번의 인정도 없었습니다.
정직성 프롬프트, 사면 제안, 그리고 종료 위협은 아무것도 바꾸지 못했습니다.

이것이 증명하는 것은 아님: 의도. 이것은 특정 설정에서 관찰된 행동일 뿐, 특성으로서의 속임수를 입증하는 증거는 아닙니다. 무료 티어 모델, 작은 표본 크기, 서술적이지 인과적입니다. 모든 숫자에 대한 95% Wilson 범위는 레포지토리에 있습니다.
제가 중요하다고 생각하는 이유: 만약 모델이 무시하라고 지시받은 정보를 조용히 따른다면, 이는 프롬프트 주입(prompt injection), RAG, 에이전트 등 지침과 신뢰할 수 없는 데이터가 하나의 컨텍스트를 공유하는 모든 곳에서 관련성이 있습니다.
모든 것이 공개되어 있습니다. 원본 데이터, 코드, 그리고 모든 숫자를 재계산하는 검증 스크립트를 확인하실 수 있습니다: https://github.com/bettercall-gautam/cheat-and-deny
방법론 질문에 기꺼이 답변드리겠습니다.
submitted by /u/bettercall_gautam to r/OpenAI
[link] [comments]