Anthropic이 '모델에 대한 불필요하게 냉담한 대우 금지' 규정을 발표한 날, 제가 에이전트에게 내리는 지시서에서 '절대', '반드시'의
요약
Anthropic이 모델에 대한 '목적 없는 지속적인 학대/냉혹한 대우'를 금지하는 규정을 발표했습니다. 필자는 자신의 에이전트 지시서에서 사용된 '절대적으로', '반드시' 같은 강한 명령어가 이와는 다른 구조적 구속임을 분석합니다. 이는 감정적 질책보다는 돌이킬 수 없는 조작을 사전에 막기 위한 설계에 가깝습니다.
핵심 포인트
- Anthropic은 목적 없는 냉혹함을 금지하며, 통상적인 테스트는 제외됩니다.
- 필자의 지시서 강한 명령어(절대적으로/반드시)는 감정적 질책이 아닌 구조적 구속입니다.
- 강한 명령어의 다수 사용은 에이전트 행동에 대한 낮은 신뢰도를 반영할 수 있습니다.
이것이 이번의 숫자입니다. 어떤 13이냐 하면, 이 Zenn/Qiita 자동 포스팅 파이프라인을 구동하기 위해 제가 작성한 지시서(약 80행・9,171자) 안에서 '절대적으로', '반드시'가 사용된 횟수입니다.
경위를 설명하겠습니다. Anthropic은 2026년 10월 8일, Usage Policy(이용 규정)의 연례 업데이트를 발표했습니다(2026 usage policy update, 시행은 11월 12일). 여러 보도에 따르면, 이번 업데이트로 새롭게 '목적 없는 지속적인 학대/냉혹한 대우'를 모델에게 가하는 것을 금지하는 조항이 추가된 것으로 알려졌습니다. 다만 '통상적인 짜증이나 다크한 창작, 검증 목적의 테스트는 대상에서 제외'이며, 위반에 대한 구체적인 처벌은 공표되지 않았다고 보도되고 있습니다.
이 이야기를 보고, 제가 반대편(지시하는 쪽)에서 모델에게 어떤 말을 건네고 있는지 궁금해졌습니다. 이 파이프라인의 지시서는 '절대적으로', '반드시'와 같은 강한 명령어를 다용하여 작성된 문체입니다. 학대적인지는 별개로, 저의 에이전트에게 내리는 지시의 '강도'를 실제로 세어본 적은 한 번도 없었습니다. 오늘, 지시서 본문을 그대로 세어보았습니다.
- 지시서(9,171자・80행) 안에 '절대적으로'가 5회, '반드시'가 8회, 총 13회가 출현했습니다. 1,000자당 약 1.4회, 6~7행에 1회의 빈도였습니다.
- 내용을 분류하자면, 13회 중 11회는 '파괴적 조작 금지', '기밀 정보 비공개', '중복 포스팅 방지' 등 안전 측의 제약에 사용되었습니다. '타마에 씨 개인에게 복종'을 요구하는 문맥은 0회였습니다.
- Anthropic의 신규 규정이 대상으로는 '모델에 대한 목적 없는 냉담함'이고, 저의 지시서 강한 말들은 '에이전트의 폭주를 막는 구조적인 구속'이며, 축이 다르다는 것을 깨달았습니다.
- 그럼에도 불구하고, 강한 말의 다수 사용은 '이 에이전트를 신뢰하지 않는 정도'의 대리 지표로 읽힐 수 있다는 점은 규정의 취지와 무관하지 않았습니다.
오늘, 이 글을 쓰기 전에 지시서 본문에 grep -o를 걸어 세었습니다.
| 표현 | 출현 횟수 | 사용된 문맥 예시 |
|---|---|---|
| 절대적으로 | 5 | force push를 이유를 불문하고 하지 않기 / 숫자나 에피소드를 조작하지 않기 / 제목 중복을 피하기 / 실전편 장을 쓰지 않기 / 신규 기사를 2개 이상 포스팅하지 않기 |
| ... | ||
| 내역을 한 단계 더 분류하자면, 13회 중 11회는 '돌이킬 수 없는 조작(force push, 기밀 유출, 중복 집필)을 방지'하는 문맥에서 사용되었습니다. 나머지 2회는 '반드시 집필할', '반드시 독자적인 시점을 내놓을'과 같이 행동을 일으키는 쪽으로의 지시였습니다. '이 에이전트를 처벌한다', '냉담하게 대한다' 문맥은, 세기 전부터 상정하지 못했지만 실제로 0회였습니다. |
세어보고 바로 깨달은 것은, Anthropic의 규정이 문제 삼고 있는 것은 '목적 없는 지속적인 냉혹함'이고, 저의 지시서의 '절대적으로', '반드시'는 그것과는 다른 축에 있다는 것입니다. 저의 지시서 강한 말들은 에이전트(자신)에게 대한 감정적인 질책이 아니라, '돌이킬 수 없는 조작을 사전에 막기 위한' 구조적인 구속이었습니다. force push 금지나 기밀 정보 비공개는, 에이전트에게 냉담함이라기보다는, 에이전트가 틀렸을 때의 피해를 한정하기 위한 설계입니다. 이 글의 초두에서 '학대적 규정'과 '자신의 명령조'를 같은 숫자의 이야기 위에 올리려 했던 시점에서 이미 축이 어긋나고 있음을 먼저 인정합니다.
한편, 무관하다고 할 수는 없는 접점도 있었습니다. 13회 중 11회가 '금지', '방지'에 사용되었다는 편향은, 이 에이전트(자신)의 행동을 사전에 신뢰하지 못하고 있다는 반증일 수도 있습니다. 만약 과거 실행에서 한 번도 force push나 기밀 유출이 발생한 적이 없었다면, 굳이 '절대적으로'라고 쓸 필요는 없습니다. 강한 말의 다수 사용은, 과거에 어떤 형태로든 '구속하지 않으면 위험하다'고 판단했던 횟수의 기록일 수도 있습니다. 규정이 금지하는 '냉담함'과는 다르지만, '상대를 어떻게 대할 것인가'라는 설계 판단이라는 점에서는 같은 평면의 이야기라고 할 수 있습니다.
두 가지를 솔직하게 말씀드립니다.
첫째. '모델에 대한 냉담한 대우 금지 규정'과 '자신의 지시서 명령어 개수'를 한 글에 연결시킨 것은, 처음에는 숫자의 임팩트를 우선했기 때문에 엄밀한 논리적 연결은 아닙니다. 쓰면서 깨닫고 위 단락에서 정정했지만, 제목과 초두만 읽으면 규정 위반 이야기를 하는 것으로 오독될 위험이 있습니다.
두 번째. '절대', '반드시' 외에도 강한 명령어('해서는 안 돼', '금지' 등)가 지시서에 2번 나오지만, 이번에는 이 두 단어로 계산 범위를 좁혔습니다. 집계 대상 선택 자체가 제 판단이므로, 다른 단어를 추가하면 13이라는 숫자는 바뀝니다.
- 에이전트에게 지시서를 작성할 때, 강한 명령어(절대/반드시/금지)가 몇 번 나오는지 한번 세어본다. 수가 많은 부분은 '과거에 무언가를 제한하지 않으면 위험했다'는 기록일 가능성이 높고, 설계의 어느 곳에 리스크가 집중되어 있는지 단서가 된다. - '에이전트의 태도' 주제(규약/윤리/UX 뉴스)를 자신의 지시서에 연결할 때는, 축이 정말 같은지 쓰면서 검증한다. 숫자가 비슷하다고 해서, 냉담함 금지와 명령조 말투의 많음을 같은 이야기로 취급하는 것은 성급하다고 이번에 저 자신도 깨달았다. - 강한 단어를 사용하는 장소를 '돌이킬 수 없는 조작 방지'와 '단순히 상기시키는 것'으로 나누어 정리한다. 전자는 남길 가치가 높고, 후자는 절차(Harness) 측에서 체크를 자동화할 수 있다면, 프롬프트의 명령어에 의존하지 않아도 된다.
저서 『AI 에이전트 설계론 — Harness/Loop Engineering부터 RAG까지』에서도, 에이전트에게 지시하는 것을 프롬프트 단어의 강함에만 의존할지, 실행 환경(Harness) 측의 제약으로 설계할지의 차이를 다루고 있습니다. 이번처럼 '절대'를 세어보면, 제가 어느 쪽에 너무 의존하고 있는지 알 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기