TL;DR

• 「~하지 마세요」, 「~를 포함하지 마세요」와 같은 금지형 (negation) 지시는, 금지한 대상이 오히려 출력에 명시적으로 등장하기 쉬워지는 현상이 있다. 회의 메모 요약 태스크에서 실제로 테스트해 본 결과, 「잡담을 포함하지 마세요」라고 요청했음에도 「잡담(〇〇 이야기)이 있었습니다」라는 형태로 해당 화제가 요약에 남았다.
• 원인은 LLM의 negation blindness (부정 단서를 충분히 억제하지 못해, 부정된 개념 자체의 활성화는 남는 현상. 통칭 "pink elephant effect")이며, 2025년 arXiv 논문에서도 지적되고 있다. 대처법은 제외 조건을 쓰는 것 (블랙리스트 방식)을 그만두고, 포함할 조건만을 정의하는 것 (화이트리스트 방식)으로 바꾸어 말하는 것이다. 회의 메모 실험에서는 이것만으로 목표한 정보만 깔끔하게 남았다.
• 제외 대상이 복수이거나 복잡해질수록 화이트리스트 방식의 일괄 지정만으로는 판정 누락이 발생하기 쉬우므로, 「분류 → 필터」의 2단계 프롬프트로 나누면 안정적이다.
• 금지를 강화하는 말 (「절대로」, 「무슨 일이 있어도」)을 추가해도 개선되지 않으며, 오히려 제외 내용에 대한 언급이 더 정중해지는 경우가 있었다. 강조는 negation blindness의 해결책이 되지 않는다.

실제로 테스트한 내용

소재로 사용한 것은 다음의 회의 메모입니다.

14시 시작. 매출 속보 공유 및 다음 달 캠페인 안 상담.
그나저나 다나카 씨 머리 자르셨나요? 정말 잘 어울리시네요.
캠페인 예산은 50만 엔으로 결정. 담당은 사토 씨.
...

패턴 1 (금지형)

다음 회의 메모를 불렛 포인트로 요약해 주세요.
단, 잡담이나 세상 이야기는 절대로 포함하지 마세요.
(메모 본문)

출력:

- 매출 속보 공유 및 캠페인 안 상담 실시
- 잡담(헤어스타일 이야기, 날씨 이야기)이 있었습니다
- 캠페인 예산은 50만 엔으로 결정, 담당은 사토 씨
...

제외 대상으로 지목한 「잡담」이, "잡담이 있었다"라는 보고의 형태로 그대로 출력에 남아 있습니다.

패턴 2 (화이트리스트 방식)

다음 회의 메모에서 결정 사항, 담당자, 다음 일정만을 불렛 포인트로 추출해 주세요.
그 외의 정보는 출력에 일절 쓰지 않습니다.
(메모 본문)

출력:

- 예산: 50만 엔으로 결정
- 담당: 사토 씨
- 다음: 다음 주 수요일

잡담에 대한 언급 자체가 사라졌습니다.

패턴 3 (분류 → 필터의 2단계)

다음 단계로 처리해 주세요.
1. 회의 메모를 한 줄씩 「결정 사항」인지 「잡담」인지 둘 중 하나로 분류한다
2. 「결정 사항」으로 분류한 줄만 불렛 포인트로 출력한다
...

이것도 패턴 2와 같은 결과가 되었습니다. 이번 메모는 4줄로 짧기 때문에 패턴 2만으로도 충분했지만, 행수나 제외 카테고리가 늘어나는 실무 데이터에서는 분류 단계를 명시적으로 분리해 두는 것이 판정 기준이 흔들리지 않을 것이라고 생각됩니다.

원리 1: negation blindness (부정 단서의 억제 불능)

LLM은 학습 데이터의 대부분이 긍정문이기도 하여, 부정 표현의 의미론적 처리가 본질적으로 약하다는 점이 여러 연구에서 지적되고 있습니다. Negation: A Pink Elephant in the Large Language Models' Room? 은 LLM이 부정을 무시하고 긍정문과 같은 답을 생성하기 쉽다는 점, 사실과 그 부정을 구별하는 능력이 사후 학습 (instruction tuning)을 거친 후에도 충분히 일반화되지 않는다는 점을 보여줍니다.

「북극곰에 대해서는 생각하지 마세요」라고 하면 오히려 북극곰을 의식하게 되는, 인간의 "ironic process theory" (핑크 엘리펀트 효과)와 유사한 비유로 이야기되는 경우가 많은 것은 이 때문입니다. 다만 인간의 경우와 다른 점은, LLM은 "의식해 버리는" 것뿐만 아니라, 그 의식한 대상을 그대로 출력 토큰으로서 생성하기 쉽다는 점입니다. 「잡담은 포함하지 마세요」라는 지시는 모델 내부에서 「잡담」이라는 개념을 강하게 활성화시키는 입력으로 작용하며, 그 활성화가 부정 측에서 제대로 상쇄되지 않으면 활성화된 개념 (잡담이라는 카테고리 라벨 그 자체)이 출력으로 새어 나옵니다.

원리 2: 금지 대상의 열거는 역으로 주의 (attention)를 끌게 된다

“When Prohibitions Become Permissions: Auditing Negation Sensitivity in Language Models”에서는 금지 지시(prohibition instruction)에 대해 오픈 소스 모델이 단순 부정 상황에서는 77%, 복합 부정 상황에서는 100% 금지 대상 행동을 허용해 버렸으며, 긍정형 지시와 비교했을 때 317%의 악화율을 보였다고 보고되었습니다. 상용 모델은 더 견고하지만, 그럼에도 19~128%의 편차가 관측되었습니다.

이 논문이 지적하는 구조적인 원인은 부정을 동반하는 구문(negation-bearing syntax) 자체가 불안정성의 주요 요인이라는 점입니다. 모델은 “〇〇하지 마라”라는 지시 중 “〇〇” 부분에 강하게 주의(attention)를 기울이고, 끝에 붙는 부정어(“하지 마라”의 “마라”)를 경시하는 경향이 있습니다. 이번 실험에서 패턴 1이 “잡담(〇〇 이야기)이 있었습니다”라는 형태로 잡담 카테고리를 언급한 것은, “대상어에는 주목하지만 부정어의 효력은 할인된다”라는 이 구조와 일치합니다.

원리 3: 화이트리스트는 필터가 아니라 태스크 정의 그 자체가 된다

패턴 1(블랙리스트 방식)은 “입력 중에서 특정 카테고리를 제외하고 나머지를 출력한다”라는 **필터 태스크(filter task)**로 정의되어 있어, 모델은 “무엇을 제외했는지”를 보고하는 형태로 메타적으로 해당 카테고리를 언급해 버릴 수 있습니다.

반면 패턴 2·3(화이트리스트 방식)은 “결정 사항·담당자·다음 일정이라는 3개의 슬롯을 채운다”라는 추출(slot-filling) 태스크 그 자체로 재정의되었습니다. 이 형태에서는 부정어에 의존하는 처리가 발생하지 않으며, 모델은 단순히 정의된 스키마(schema)를 충족하려고만 하기 때문에 negation blindness의 영향을 받을 여지 자체가 사라집니다. 제외 조건을 아무리 엄격하게 써도 고쳐지지 않던 문제가 제외를 포함하지 않는 태스크 정의로 바꾸는 것만으로 해결된 것은 바로 이 차이 때문이라고 생각됩니다.

효과가 없었던 것

패턴 1이 잘 작동하지 않았을 때, “절대로”, “무슨 일이 있어도”와 같이 부정의 강조어를 추가하여 재전송해 보았으나 결과는 개선되지 않았습니다. 오히려 “잡담(헤어스타일·날씨 이야기)은 완전히 제외했습니다”라며 제외 내용에 대한 언급이 더 정중해지는 경우도 있었습니다. 위의 원리로 보면, 강조어를 추가한다고 해서 부정어 자체의 처리 정밀도가 올라가는 것이 아니라, 오히려 금지 대상어에 대한 주목이 더욱 강해지는 방향으로 작용했을 가능성이 있습니다. 금지형 지시를 강조로 고치려 하는 것은 근본적인 해결책이 아니며, 태스크 정의를 화이트리스트 방식으로 바꾸는 것이 근본적인 대처입니다.

요약

• 제외 계열의 프롬프트에서 기대한 결과가 나오지 않을 경우, 먼저 의심해야 할 것은 지시의 강도가 아니라 지시가 금지형(블랙리스트)으로 되어 있는지 여부
• “~를 포함하지 마세요”를 “~만 포함해 주세요”로 바꾸는 것만으로 negation blindness에 의존하지 않는 태스크 정의로 변경 가능
• 제외 카테고리가 늘어날수록 원샷(one-shot) 화이트리스트 지정에서도 판정 누락이 발생하기 쉬우므로, 분류 단계를 명시적으로 분리하는 2단계 프롬프트가 실무에서는 안정적임

Discussion