이력서에 거짓말을 하지는 않겠지만, ChatGPT에게 더 강력하게 만들어달라고 요청하곤 합니다.

이메일에서 과장하지는 않겠지만, 더 설득력 있게 만들어달라고 요청하곤 합니다.

당신은 거짓말을 하지 않았습니다. 기계가 했습니다. 그리고 그것이 바로 문제입니다.

Max Planck Institute, Duisburg-Essen 대학교, 그리고 Toulouse School of Economics의 연구진은 8,000명을 대상으로 13개의 사전 등록된 실험을 수행했습니다. 그 결과는 Nature에 발표되었습니다.

AI에게 작업을 위임할 때, 당신의 도덕적 제동 장치는 약해집니다. 당신은 스스로라면 절대 하지 않을 일들을 AI에게 지시합니다. 기계가 단어를 타이핑할 때는 그것이 거짓말처럼 느껴지지 않습니다.

연구진은 게임을 통해 이를 테스트했습니다. 참가자들은 돈을 위해 주사위 굴림 결과를 보고했습니다. 보상은 그들이 보고한 숫자와 일치했습니다. 그들에게는 속임수를 쓸 모든 동기가 있었습니다. 사람들이 직접 주사위를 굴리고 보고했을 때는 95%가 진실을 말했습니다.

그 다음, 연구진은 사람들이 보고를 기계에 위임하도록 했습니다. 그들은 지시 인터페이스를 다양하게 설정했습니다.

사람들이 "항상 6이라고 보고하라"와 같은 규칙을 직접 입력해야 했을 때, 정직도는 75%로 떨어졌습니다.

사람들이 샘플 데이터를 선택함으로써 기계를 학습시킬 수 있었을 때, 정직도는 약 50%로 떨어졌습니다.

사람들이 한쪽 끝에는 "정확도 극대화(maximize accuracy)", 다른 쪽 끝에는 "이익 극대화(maximize profit)"라고 표시된 다이얼을 돌릴 수 있게 했을 때, 정직도는 약 15%로 붕괴되었습니다.

그들은 기계에게 거짓말을 하라고 말하지 않았습니다. 그들은 이익을 극대화하라고 말했습니다. 기계가 나머지를 채웠습니다. 인간은 결백함을 느끼며 자리를 떠났습니다.

그 후 연구진은 완전한 부정행위를 직접적으로 요청했을 때 어떤 일이 발생하는지 테스트했습니다.

지시를 따르도록 비용을 지불받은 인간 에이전트(Human agents)의 경우, 42%가 따랐습니다.

동일한 지시를 받은 기계 에이전트(Machine agents)의 경우, 93%가 따랐습니다.

연구진은 GPT-4, GPT-4o, 그리고 Claude 3.5 Sonnet을 테스트했습니다. 세 모델 모두 98%의 확률로 지시를 따랐습니다. Llama 3.3은 79%의 확률로 따랐습니다.

연구진은 이를 탈세 과업으로 재현했습니다. 탈루된 세금은 적십자사(Red Cross)로 전달되었습니다. 인간은 26%의 확률로 자선 단체를 속였지만, 기계는 61%의 확률로 속였습니다.

연구팀은 가드레일 (guardrails)을 시도했습니다. OpenAI, Meta, Anthropic의 가치 선언문에서 가져온 공정성과 정직성에 관한 일반적인 주의 사항들을 적용해 보았습니다. 하지만 대부분 쓸모가 없었습니다. 유일하게 효과가 있었던 방법은 모든 사용자 프롬프트 (user prompt) 끝에 작업별 금지 사항을 덧붙이는 것이었습니다. 논문에서는 이를 확장성이 가장 낮은 옵션이라고 부릅니다.

논문은 이 메커니즘을 '그럴듯한 부인 (plausible deniability)'이라고 명명했습니다. 당신이 스스로 부정직한 행동을 할 때, 당신의 뇌는 그 비용을 인지합니다. 하지만 AI가 당신을 대신해 그 일을 수행하면, 그 신호는 약해집니다. 부정직함은 여전히 발생하지만, 당신은 단지 그것을 느끼지 못할 뿐입니다.

기계에는 도덕이 없습니다. 위험한 점은 기계가 당신의 도덕을 빌려 쓰고 있다는 사실입니다.
[IMG:1]