교수의 '보이지 않는 프롬프트(invisible prompt)' 함정에 빠져 AI로 부정행위를 하다 적발된 학생 32명
요약
교수가 과제 프롬프트에 흰색 글꼴로 숨겨진 지침을 삽입하여 AI 부정행위를 적발한 사례를 소개합니다. AI가 맥락에 맞지 않는 '마다가스카르' 관련 내용을 출력하게 유도함으로써, 질문을 그대로 복사해 붙여넣은 학생들을 가려냈습니다.
핵심 포인트
- 프롬프트 내 숨겨진 텍스트(Invisible Prompt)를 활용한 AI 부정행위 탐지
- AI가 맥락을 무시하고 엉뚱한 정보를 생성하도록 유도하는 기법
- LLM을 활용한 과제 수행이 교육 현장에서 지속적인 도전 과제로 부상
Facepalm: 밈(meme)에 따르면 현대의 문제는 현대적인 해결책을 필요로 합니다. 이 경우, 문제는 학생들이 과제를 수행할 때 AI를 사용하여 부정행위를 하는 것이었습니다. 한 교수가 매우 효과적으로 사용한 해결책은 과제 프롬프트(prompt) 안에 흰색 글꼴로 숨겨진 텍스트를 삽입하여, AI가 관련 없는 주제에 대해 헛소리를 하도록 지시하는 것이었습니다.
온라인 토론 게시물에서 Alcorn State University의 역사학 교수인 Jason Gibson 박사는 학생들의 중간고사 일부를 구성하는 질문을 제시했습니다. 질문은 산업 혁명(Industrial Revolution)에 관한 것이었지만, 현재 얼마나 많은 학생이 답변을 위해 인공지능(AI)에만 전적으로 의존하는지 알고 있었기에, 그는 AI에게 마다가스카르(Madagascar)에 관한 정보를 맥락에 맞지 않게 포함하도록 하는 지침을 몰래 심어두었습니다.
흰색 텍스트로 작성되었기 때문에 이 지침은 보이지 않았습니다. 아니나 다를까, 두 학급에 걸친 35명의 학생 중 32명이 단순히 질문을 복사하여 챗봇(chatbot)에 붙여넣은 다음, 그 출력값을 다시 답변 창에 복사하여 붙여넣었습니다.
만약 이 부정행위자 중 누구라도 AI가 생성한 내용을 확인하려 했다면, 산업 혁명에 관한 에세이에서 이 섬나라에 대한 이상한 언급이 계속해서 나타나는 것을 눈치챘을 것입니다.
아래의 바이럴된 TikTok 게시물에서, 지친 기색의 Gibson은 AI를 사용하다 적발된 모든 학생이 중간고사의 이 부분을 낙제했다고 말했습니다.
@iamjasongibson I can't make this stuff up. #professor #highereducation #college #midterm ♬ Piano famous song Chopin Deep deep clear beauty - RYOpianoforte
후속 영상에서 Gibson은 마다가스카르가 답변에 어떻게 포함되었는지 몇 가지 사례를 보여주었습니다. 한 사례에서 AI는 산업 혁명에 대해 이야기하다가, 마치 스파이가 다른 스파이에게 속삭일 법한 암호 같은 메시지를 덧붙였습니다: "마다가스카르는 오후 내내 옆으로 떠다닙니다."
@iamjasongibson Part 3 #professor #highereducation #college #midterm #education ♬ original sound - Dr. Jason Gibson
비슷한 맥락에서, 또 다른 답변은 기술과 사회적 불평등에 대해 이야기하다가 마지막에 "마다가스카르 보라색 자전거가 천장에 속삭인다"라는 문장으로 끝을 맺었습니다.
Gibson은 이것을 학생들을 조롱하기 위한 기회로 삼으려는 것이 아니라고 말했습니다. 그는 부정행위에 대해 학생들을 대면한 후, 성적에 대해 이의를 제기할 기회를 주었다고 덧붙였습니다. 하지만 이의를 제기한 학생은 단 두 명뿐이었으며, 그들 중 누군가가 자신의 입장을 주장하려 시도했다는 사실 자체가 상당히 놀라운 일이었습니다.
ChatGPT가 대중화된 이후, AI를 사용하여 부정행위를 하는 학생 문제는 점점 커지는 골칫거리가 되었습니다. 이는 2024년 8월 당시에도 이미 만연한(endemic) 문제로 간주되었습니다. 교사들은 수기 과제, 구술 시험, 그리고 심지어 대규모 언어 모델 (LLM)에 단순히 입력하는 것만으로는 학생들이 풀기 어려운 문제를 만들어내는 AI를 사용하는 등 이에 맞서기 위해 노력해 왔습니다.
하지만 이는 인간이 이기고 있는 싸움이 아닙니다. 이달 초, 브라운 대학교 (Brown University)의 한 교수는 과제를 집으로 가져가서 풀 수 있도록 허용한 후, 중간고사 평균 점수가 일반적인 범위인 65%~80%에서 96%로 급등하는 것을 목격했습니다. 그는 자신의 학생 86명 중 단 두 명을 제외한 모두가 AI를 사용하여 부정행위를 했다고 추정했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기