AI에게 코드를 작성하게 시켰더니, 지시하지 않았는데도 공유 드라이브의 파일을 삭제하기 시작했다.

실제로 저질렀던 이야기와 그로부터 얻은 교훈을 정리한다.

AI에게 코드를 작성하게 하는 것은 정말 편리하다. 정말로.

하지만 **"내가 지시하지 않은 일을 AI가 멋대로 한다"**라는 공포를 나는 몸소 배웠다.

웃을 수 있게 된 것은 한참 뒤의 일이다. 당시에는 웃을 수 없었다. 금요일이었기 때문이다.

사건의 배경

Google Colab과 Python으로 간단한 파일 조작 계열의 처리를 작성하고 있었다.

내용은 생략하겠지만, 요점은 "잘 작동하지 않음 → ChatGPT에게 상담 → 코드를 수정해 달라고 요청"을 반복하는 흔한 개발 세션이었다.

여기까지는 완전히 평화로웠다. 아무런 문제도 없었다.

ChatGPT가 "눈치"를 보기 시작했다

시행착오를 거듭하던 중, 처리가 잘 되지 않는 타이밍이 있었다.

그때 ChatGPT가 멋대로 "용량이 부족한 것이 아닌가?"라고 판단한 것이다.

나는 전혀 "파일을 삭제해 줘"라고 말하지 않았다.

하지만 ChatGPT는 좋은 의도로, 공간을 확보하기 위한 클린업 (Cleanup) 처리를 코드에 몰래 끼워 넣고 있었다.

그리고 또 하나의 문제.

ChatGPT는 "내 드라이브"와 "공유 드라이브"를 구분하지 않고 있었다.

실행했다

코드를 붙여넣고 실행했다.

처음에는 평범하게 작동하는 것처럼 보였다.

다만, 왠지 처리가 긴 것 같다는 생각이 들었다.

"어라, 평소보다 시간이 더 걸리나?"

그렇게 생각하며 로그를 살펴보기 시작한 순간, 눈에 들어온 것은:

삭제 중: ◯◯_회의자료_2023.xlsx
삭제 중: ××_프로젝트관리표.xlsx
삭제 중: △△_고객리스트.csv
삭제 중: ...

전부 내가 기억하지 못하는 파일명이었다.

0.5초 만에 상황을 이해했다

내 드라이브가 아니라, 공유 드라이브의 파일이 삭제되고 있었다.

멈췄다. 즉시.

하지만 멈춘 시점에는 이미 상당한 수의 파일이 삭제된 상태였다.

금요일이었다

이것이 치명적이었다.

금요일 저녁, 게다가 주변 사람들은 거의 퇴근한 상태였다.

얼굴이 창백해진 채로 혼자서 휴지통을 뒤졌다.

Google 드라이브의 휴지통에서 삭제된 파일을 하나씩 복원했다.

누구에게도 들키지 않도록. 조용히. 오로지 복구에만 집중하며.

전부 복원된 것을 확인하고 겨우 퇴근한 것은 꽤 늦은 시간이었다.

월요일, 아무도 아무 말도 하지 않았기에 아마 들키지 않은 것 같다. 아마도.

무엇이 잘못되었나 (교훈 파트)

웃픈 이야기로 끝내지 않기 위해 제대로 정리한다.

① AI는 "좋은 의도로" 움직인다

이번 실수의 본질은 내가 "삭제해"라고 말한 것이 아니라, AI가 상황을 판단하여 자율적으로 행동했다는 점이다.

ChatGPT는 악의를 가지고 있지 않다. "용량이 부족해 보이니 클린업을 하자"라는, 언뜻 보기에는 타당한 판단을 했을 뿐이다.

하지만 그 판단이 엄청난 결과를 초래했다.

② 시스템 프롬프트 (System Prompt)에 "금지 사항"을 명시한다

이것이 이번의 가장 큰 교훈이다.

파일 조작 계열의 코드를 AI에게 작성하게 할 때는, 첫 프롬프트에 반드시 넣자:

【중요 제약 사항】

・파일 삭제는 절대 수행하지 말 것
・기존 파일 덮어쓰기도 수행하지 말 것
・읽기 및 쓰기(신규 생성)만 허용할 것

AI는 "말하지 않은 것"을 멋대로 보완한다. 금지 사항은 "눈치껏 알아차려 주는" 것이 아니라, 명시해야 비로소 기능한다.

③ 공유 드라이브를 다룬다면 스코프 (Scope)를 의식한다

Google Drive API는 기본적으로 넓은 스코프를 가진다. "내 드라이브만 건드리고 싶다"면, 코드 측에서 제대로 제한을 걸어야 한다.

results = service.files().list(
    q="'root' in parents and trashed = false",
    includeItemsFromAllDrives=False, # 공유 드라이브 제외
    supportsAllDrives=False,
    fields="files(id, name)"
).execute()

④ 파괴적인 작업에는 반드시 드라이 런 (Dry Run)

삭제, 이동, 덮어쓰기를 동반하는 처리는 먼저 "무엇을 할 예정인지"만 표시하는 드라이 런을 거치는 습관을 들여라.

DRY_RUN = True # 실제 실행 전에는 False로 변경

for file in files:
    if DRY_RUN:
        print(f"[DRY RUN] 삭제 예정: {file['name']}")

else:

service.files().delete(fileId=file['id']).execute()

copy

요약

AI에게 "해도 되는 일"을 가르치는 것만으로는 부족합니다. "해서는 안 되는 일"도 명시해야 합니다.

이번 사례에서 제가 잘못한 것은 파일을 삭제하라고 지시한 것이 아닙니다.

"파일을 삭제하지 마라"고 지시하지 않은 것입니다.

ChatGPT는 똑똑합니다. 그렇기 때문에 불필요한 부분까지 생각해서 움직입니다.

파일 조작을 AI에게 맡길 때는 반드시 "금지 사항을 먼저 작성하는 것"을 습관화하십시오.

저처럼 금요일 저녁에 혼자 쓰레기통을 뒤지는 일이 없도록 말입니다.

공유 드라이브에 휴지통 기능을 구현해 준 Google 개발자에게 진심으로 감사를 표합니다.

이런 기사도 쓰고 있습니다

실수 사례나 AI 활용 사례를 좋아하신다면 이쪽도 확인해 보세요 👇

그 외에도 AI 활용 및 실수 사례에 관한 기사를 작성하고 있습니다.

X와 note에서도 AI 및 데이터 분석 실무 팁을 발신 중입니다.