이메일 초안 수정 시 AI에게 이유를 한 줄 추가하게 했을 때 제목까지 고쳐진 이야기

TL;DR

• 약점을 3가지 심어 넣은 짧은 사과 이메일 초안을 하나 준비하고, 대화 기록을 공유하지 않는 독립적인 LLM 인스턴스에 지시문만 바꿔서 수정하게 했다.
• 조건 A '그대로 보낼 수 있게 고쳐주세요'는 문장 끝의 표현이나 문장 분할 같은 표면적인 수정만 이루어졌다. 제목('보고')과 모호한 이유('여러 사정으로 인해')는 그대로 방치되었다.
• 조건 B '수정한 부분에는 이유를 한마디(15자 정도) 덧붙여 주세요'는 동일한 초안에서 제목과 이유의 모호함 양쪽을 모두 수정했으며, 수정된 부분마다 한마디 메모를 붙여서 반환했다.
• 한편, 초안에 정보로 존재하지 않는 '구체적인 새 납기일'은 조건 B에서도 채워지지 않았다. 이유를 쓰게 해도 사실의 결핍까지는 메울 수 없다는 것을 보여준다.
• 각 조건은 1회만 시도한 것이므로 통계적 유의성을 주장할 수는 없다. 원리는 작업 가설로 다루어야 한다.

배경

매일 AI 레시피 편집부에서는 AI에게 글 수정을 부탁할 때 '그대로 보낼 수 있게 고쳐주세요'와 같이 결과를 지정하는 짧은 지시문을 자주 사용한다. 이 지시문은 겉보기에는 충분히 강력하여 목적(보낼 수 있는 상태로 만드는 것)이 명확하게 전달되는 것처럼 보인다. 하지만 실제로는 AI가 '고쳤다'라고 판단하는 기준이 지시 측에서는 보이지 않으며, 표면적인 표현 수정만으로도 '완료'로 간주될 가능성이 있다.

이 작업 가설을 검증하기 위해, 동일한 초안에 대해 '이유를 한마디 덧붙여 주세요'라는 조건을 하나 추가하는 것만으로, AI가 '고쳤다'라고 판단하는 기준—즉 수정의 깊이—가 어떻게 달라지는지 실측했다.

검증 방법

거래처 납기 지연 사과 이메일(픽션, 약 200자)을 하나 준비하고 다음 3가지 약점을 의도적으로 심었다.

• 제목이 '보고' 그대로여서 내용이 제목만으로는 알 수 없다.
• 지연 이유가 '여러 사정으로 인해'라고 모호하게 처리되어 있다.
• 새 납기일이 '가능한 한 빨리' 상태로 구체적인 날짜가 없다.

이 중 3가지는 초안 자체에도 정보로 존재하지 않는(편집부 측에서 의도적으로 제공하지 않은) 결핍이었으며, AI가 어떻게 행동하는지 보기 위한 대조점으로 남겼다.

대화 기록을 공유하지 않는 독립적인 에이전트(각 조건 모두 새로운 컨텍스트이며 서로의 존재를 알지 못함)에게 동일한 초안과 함께 다음 중 하나의 지시문만 전달했다.

조건 A (이유 없음):

다음 이메일 초안을, 그대로 보낼 수 있게 고쳐주세요.

조건 B (이유 있음):

다음 이메일 초안을 고쳐주세요. 고친 부분에는, 왜 고쳤는지 이유를 한마디(15자 정도) 덧붙여 주세요.

각 조건을 1회씩 실행하고 반환된 수정본 문면을 약점 1~3 각각에 대해 '고쳐졌는가/남았는가'로 대조했다.

결과

조건 A는 문장 끝의 경어 표현을 다듬고, 마지막 긴 한 문장을 2개의 단락으로 나누는 등 원문의 정보 구조를 바꾸지 않는 범위의 수정에 그쳤다. 제목과 이유의 모호함이라는 초안에 실재하는 약점 2가지를 감지하고 수정한 흔적은 없었다.

조건 B는 제목과 이유 양쪽을 모두 수정했을 뿐만 아니라, 수정된 부분마다 '※이유: 내용이 알 수 있는 제목으로', '※이유: 모호한 이유를 구체화', '※이유: 긴 문장을 분할 정리', '※이유: 승낙 요청과 설명의 순서를 정리'와 같은 한마디를 덧붙여 반환했다. '그대로 보낼 수 있게'라는 조건 A의 지시도 목적 자체로는 조건 B와 동등하거나 그 이상으로 강한 표현임에도 불구하고, 실제로 깊이 들어간 수정 범위는 조건 B가 더 명확하게 넓었다.

약점 3(초안에 존재하지 않는 구체적인 납기일)은 조건 B에서도 채워지지 않았다. 이는 두 조건 모두에게 공통된 결과이며, 이유를 쓰게 하는 조건으로도 AI가 초안에 없는 사실을 추측하여 보충하는 것은 없었음을 보여준다.

원리 (작업 가설)

조건 A와 조건 B의 차이는 지시문에 포함된 목적 자체('보낼 수 있는 상태로 만드는 것')에 있는 것이 아니라, AI가 '완료'로 간주하기 위해 충족해야 할 검증 가능성의 기준에 있다고 생각된다.

조건 A '그대로 보낼 수 있게 고쳐주세요'는 달성 기준이 '보낼 수 있는 상태'라는 모호한 자기 진술에 갇혀 있다. 문법적으로 다듬어진 문면을 반환하기만 하면, 그 기준은 (모델의 내부 평가상) 쉽게 충족되어 버리며, 제목이나 이유의 타당성과 같은 더 깊이 생각하는 판단을 요하는 수정까지 손댈 동기 부여가 약하다.

조건B「직한 곳에는 이유를 한마디 덧붙여」는 각 수정된 부분에 대해 「왜 고쳤는지」를 외부화하여 제시하도록 요구한다. 이로 인해, 표면적인 어휘 변경(문법 조정)은 「이유」를 작성하는 대상으로서 약하며(작성해도 정보량이 적음), 반면에 제목이나 이유 설명처럼 수신자가 명백히 문제가 있다고 느끼는 부분일수록, 이유를 작성하는 대상으로서 설명하기 쉽고 동기가 강하다는 비대칭성이 발생할 수 있다. 다시 말해, 「이유를 쓰라」라는 출력 형식의 제약이 간접적으로 「어디를 고쳐야 하는가」라는 탐색 범위를 넓히는 방향으로 작용했다고 해석할 수 있다.

이 현상은 매일 AI 레시피 편집부가 과거에 검증했던 두 가지 유사한 현상과는 다르다. 8월 23일 기사(지시 내용 반복 확인)는 실행전에 AI에게 지시 내용을 반복하게 하여 해석의 차이를 감지하는 방법이었고, 이번 「이유를 쓰게 하는 것」은 실행후에 수정의 타당성을 외부화하는 방법이다. 또한 9월 19일 기사(수정 내역을 쓰게 하는 것)는 이미 고정도의 사실 추출이 가능한 문서(금액 변경점 등)에 대해, 분류 지시가 추출 정확도가 아닌 출력 구조화에 효과적이라는 천장 효과에 관한 것이었다. 이번 이메일 초안은 정답이 유일하게 정해지지 않는 주관적인 문장 판단(모호한 제목・이유 설명을 어떻게 고칠지)이며, 이유를 쓰게 하는 것이 구조화가 아니라 수정의 커버리지(놓치는 부분이 적음) 자체에 효과적이었다는 점에서, 과거 지견과는 다른 축의 효과라고 생각한다.

한편, 약점 3(초안에 존재하지 않는 구체적인 납기일)이 조건B에서도 채워지지 않은 것은 이 작업 가설과 모순되지 않는다. 「이유를 쓰라」라는 제약은 AI가 초안에 실제로 존재하는 정보를 놓치지 않고 가져오는 방향에는 효과적이지만, 초안에 존재하지 않는 사실을 창작하는 방향에는 작용하지 않는다. 이는 바람직한 행동(사실의 허위 조작을 하지 않음)이며, 기술의 한계라기보다는 안전 쪽으로 기울어진 결과라고 생각된다.

실무 적용 방안

• AI에게 문장 수정・교정을 요청할 때, 「그대로 쓸 수 있게 고쳐줘」와 같은 결과만 지정하는 지시는 표면적인 수정에 그칠 위험이 있다. 여기에 「고친 곳에는 이유를 한마디 덧붙여」를 추가하는 것만으로도 더 깊이 있는 수정을 이끌어낼 가능성이 있다.
• 이유의 한마디는 보내는 본문에서는 삭제한다는 전제하에 사용한다. 이유가 포함된 출력을 그대로 최종 문서로 사용하면, 외부 문서로서 부자연스러운 주석이 남게 된다.
• 구체적인 날짜・금액처럼 초안 자체에 존재하지 않는 사실은 이 방법으로는 채워지지 않는다. 수정을 요청하기 전에 스스로 확정하여 전달할 필요가 있다.

제약 사항

각 조건별로 한 번씩 시도한 것이므로, 통계적으로 유의미한 차이를 주장할 만한 샘플 크기는 아니다. 사용된 초안은 거래처에 납기 지연 사과 이메일 1종(약 200자, 가상)뿐이며, 사내용 짧은 연락문이나 사죄 요소가 포함되지 않은 요청 메일 등 다른 문서 종류에서 같은 경향이 재현되는지는 미검증이다. 검증에 사용된 것은 Claude 계열 모델 단독(대화 기록을 공유하지 않는 독립 인스턴스)이었으며, ChatGPT・Gemini로 동일하게 실험했을 때 같은 방향의 결과가 나올지는 확인하지 않았다. 「이유를 쓰게 하는 것이 수정 커버리지를 넓힌다」는 원리에 대한 설명은 이번 1회 관찰에서 세운 작업 가설이며, 재시도에 의한 재현성 확인은 아직 진행하지 않았다.

Discussion