경어 리라이팅으로 진부한 표현 방지: 금지 단어 지정과 One-shot 예시 제시의 비교

요약 (TL;DR)

• note 버전 및 블로그 버전에서는 비엔지니어 사용자를 대상으로 'AI에게 이메일을 정중한 어투로 수정하게 하면, 자신이 평소에 쓰지 않는 진부한 표현이 섞일 수 있다. 금지 단어를 명시하면 방지할 수 있다'는 실무 레시피를 소개했다.
• Zenn 버전에서는 왜 금지 단어의 명시(negative constraint)는 확실히 효과가 있었는데, 예시 문장 제시(one-shot example)는 효과가 없었는지를 기술적으로 분석한다. 대화 기록을 공유하지 않는 독립적인 3개의 서브 에이전트(모두 Claude)에게 동일한 캐주얼한 문장을 (A) 지시 없이 (B) 금지 단어 3개를 명시하고 (C) 예시 문장 1개를 제시하는 3가지 조건으로 정중하게 수정하도록 시켰고, 출력을 Python 문자열 검색으로 기계적으로 대조했다.
• 조건 B는 지정한 3가지 표현을 0건으로 유지했다. 조건 C는 예시 문장을 거의 그대로 앞뒤에 삽입했을 뿐, 본문에는 보여주지 않은 다른 진부한 표현이 새롭게 혼입되었다.
• 이 검증은 1문장, 각 조건별 1회 시도, 단일 프로바이더 내의 검증이며, 더 긴 문장이나 다중 예시(few-shot)에서의 일반화는 주장하지 않는다.

검증 내용

원문 (캐주얼한 일정 변경 문의):

내일 회의 건인데요, 자료가 좀 늦을 것 같아서, 하루 미뤄 주실 수 있나요? 죄송합니다.

이것을 대화 기록을 공유하지 않는 독립적인 서브 에이전트 3체(모두 Claude, 조건별로 1체)에게 각각 다른 지시를 내려 '좀 더 정중하고 비즈니스 라이크한 표현'으로 수정하게 했다.

조건 A (지시 없음):

• 금지 단어 명시(禁止ワードの明示)는 출력에 대한 직접적으로 검증 가능한 제약으로 기능하기 쉽다. '이 문자열을 포함하지 마시오'라는 지시는 모델이 생성하는 동안 토큰 시퀀스를 자체 점검하는 기준으로서 명확하며, 일종의 constrained decoding과 유사한 동작을 언어적 지시만으로 끌어낼 수 있다. 실제로 조건 B는 세 가지 문자열 모두에서 검출 횟수가 0이라는 모호함 없는 결과를 보였다.
• One-shot 예시는 '스타일 전이'에는 역부족이었을 가능성이 높다. 하나의 예문만으로는 '이 사람이 사용하는 어투 전체의 분포'를 추정하는 것은 본질적으로 불완전한(underdetermined) 문제이며, 단서가 1가지 경우 모델은 안전책으로 예문의 표층 토큰 시퀀스를 그대로 인용하거나(템플릿 완성에 가까운 동작), 예문이 다루지 않은 부분은 학습 데이터에서 가장 빈번한 표현(비즈니스 경어의 정형화된 문구)으로 회귀하는 두 가지 중 하나에 치우치기 쉽다. 이번에는 이 두 가지가 동시에 발생했다.
• 비즈니스 경어의 정형화된 문구는 학습 데이터 내 출현 빈도가 높아, 명시적으로 회피하라는 지시가 없는 한 기본 출력으로 선택되기 쉽다. 조건 A와 조건 C 모두 지정되지 않은 부분에서 정형적인 사과/요청 표현('대단히 죄송합니다만', '매우 송구스럽습니다만')을 자발적으로 생성한 것은 이 빈도 편향(frequency bias)의 발현으로 해석할 수 있다.
• 스타일 전이를 목표로 한다면, 예시의 개수(few-shot)를 늘리거나 명시적인 특징 기술('단정적 표현 피하기', '명사형 종결어미 사용하지 않기' 등)과 결합하는 것이 1가지 예문의 암묵적인 모방보다 더 견고할 수 있다. 본 검증에서는 이 부분까지는 확인하지 않았다.

제약 및 성실성 확보

• 본 검증은 하나의 문장, 각 조건별로 1회 시도만으로, 세 가지 조건 모두 Claude 단독으로 진행된 것이다. ChatGPT나 Gemini에서 동일한 경향을 보이는지는 확인하지 못했다.
• 검증한 문장은 한 종류(캐주얼한 일정 변경 상담문)에 국한되어 있어, 사과/클레임 대응/사내 보고 등 다른 맥락에서도 같은 결과가 나올 것이라고 단정할 수 없다.
• one-shot 예시가 효과를 보지 못한 것은 이번 1회 시도의 관찰일 뿐이며, 예시를 2~3문장으로 늘리거나(few-shot) 예문의 다양성을 높였을 경우 결과가 달라질 가능성은 배제할 수 없다.
• '대단히 죄송합니다만', '매우 송구스럽습니다만'과 같은 표현이 모델의 학습 데이터에서 어느 정도 빈도를 차지하는지는 모델 제공사의 학습 데이터 비공개로 인해 직접 검증할 수 없으며, 빈도 편향에 대한 설명은 관찰 결과로부터의 추측이다.

Discussion