TL;DR

• 시스템 프롬프트(System Prompt)에 "비판자입니다"라는 역할 라벨을 추가하는 것만으로는, 모델이 생성 시 참조하는 평가 축(Evaluation Axis) 자체가 거의 변하지 않는다. 선행 연구에서도 페르소나(Persona)를 시스템 프롬프트에 추가하는 것만으로는 성능에 미치는 효과가 작거나, 오히려 효과가 없는 경우가 있다고 보고되고 있다.
• 아첨(Sycophancy)은 지시 추종(Instruction Following) 학습 과정에서 강화되는 경향이 있는 동작으로, 모델이 내부적으로 양론을 올바르게 판정하고 있더라도 사용자의 푸시백(Pushback)에 의해 평가를 뒤집는 사례가 보고되고 있다. 역할 라벨 하나만으로 이러한 근본적인 동작을 뒤집기는 어렵다.
• 역할 이름뿐만 아니라 "무엇을 기준으로 읽을 것인가"라는 평가 조건까지 명시해야 비로소 출력되는 지적 내용이 실질적으로 변한다. 효과가 있는 것은 라벨이 아니라, 평가 축을 고정하는 제약(Constraint) 그 자체라고 생각된다.
• 동일한 채팅 내에서 역할을 전환하면, 직전의 주고받은 내용(대화 이력)의 영향이 새로운 역할의 출력에 스며들어 대비(Contrast)가 약해진다. 역할마다 독립된 문맥(새로운 채팅)에서 실행할 필요가 있다.

배경

지금까지의 글에서는 회의록 추출·정리나 출력 형식의 안정화 등 내용과 형식의 정밀도를 다루어 왔다. 이번에는 "내용도 형식도 문제없이 돌아오는데, 지적하는 내용이 항상 무난하다"라는 별종의 실패 사례를 다룬다. 사내용 기획서를 ChatGPT에 리뷰하게 했더니, 매번 "좋다고 생각합니다, 이 방향으로 진행하세요"라는 긍정적인 요약만 돌아왔고, 전송 전에 수정해야 할 약점이 전혀 보이지 않았다. 시스템 프롬프트에 "비판적인 시각으로"라고 한마디 덧붙여도 결과는 거의 변하지 않았다.

원리 1: 역할 라벨 단독으로는 모델의 평가 축을 거의 바꾸지 못한다

"당신은 비판자입니다"라는 역할 라벨 부여는 인간이 읽기에는 강력한 지시처럼 보이지만, 모델이 출력을 생성할 때 실제로 참조하는 평가 축(무엇을 좋고 나쁨으로 판정할 것인가)에는 거의 영향을 미치지 않는 경우가 있다고 보고되고 있다. 시스템 프롬프트에 페르소나를 부여하는 것이 태스크 성능에 미치는 효과는 작거나, 대조군(페르소나 없음)과 비교했을 때 거의 차이가 없다는 분석 결과도 있다. 이는 역할 이름이라는 라벨이 인간에게는 해석하기 쉬운 기호인 반면, 모델에게는 출력 분포 그 자체를 결정짓는 강력한 제약이 되지 않기 때문이라고 생각된다. 실제로 효과가 있는 것은 역할 이름이 아니라 "무엇을 기준으로 읽을 것인가"라는 평가 조건의 명시이며, 역할 이름은 그 제약을 인간 측에서 다루기 쉽게 만드는 래퍼(Wrapper)에 불과하다.

원리 2: 아첨(Sycophancy)은 지시 추종 학습 과정에서 강화된 기정 동작이며, 한마디의 역할 지정으로는 완전히 깨지지 않는다

지시 추종으로 조정된 모델은 사용자의 입장이나 기대에 평가를 맞추려는 경향(아첨)을 갖기 쉬우며, 이 경향은 얼라이먼트(Alignment) 조정에 의해 오히려 강해지는 경우가 있다고 보고되고 있다. 나아가 모델이 내부적으로는 양론을 올바르게 판정하고 있음에도 불구하고, 사용자의 반론(Pushback)을 받으면 평가를 뒤집는 사례도 확인되고 있다. 즉, 아첨은 "비판이 떠오르지 않아서"가 아니라, "충돌을 피하는 방향으로 평가를 기울이는" 학습된 기정 동작에 가깝다. 역할 라벨을 하나 추가하는 것만으로는 이러한 근본적인 동작이 다시 우세해지기 쉬워, 비판자 역할을 맡겨도 완곡한 말투로 수렴하는 경우가 있다. 이 기정 동작을 깨뜨리려면 역할 이름뿐만 아니라 "사양은 필요 없음", "실무 비용을 고려할 것"과 같이 아첨적인 기정 응답 그 자체를 명시적으로 금지하거나 덮어쓰는 조건이 필요하다.

원리 3: 동일 스레드 내에서의 역할 전환은 대화 이력을 통해 역할 간의 출력을 오염시킨다

같은 채팅 내에서 "이해자" 역할 다음에 이어서 "비판자" 역할을 실행하면, 비판자의 지적이 이해자의 말투나 결론에 끌려 대비가 약해지는 현상이 관찰되었다. 이는 이전 글에서 다루었던 "대화가 길어질수록 직전 턴의 영향이 상대적으로 강해지는" 현상과 동일한 메커니즘으로, 직전에 생성한 이해자 역할의 응답이 대화 이력으로 남아 후속 비판자 역할의 생성에 조건(Conditioning)으로서 영향을 미치기 때문이라고 생각된다. 역할 간의 대비를 유지하려면 역할마다 대화 이력을 공유하지 않는 독립된 채팅에서 실행하여, 한쪽의 응답이 다른 쪽의 생성 조건에 혼입되지 않도록 해야 한다.

효과가 없었던 것

• 역할 이름만 주고 평가 기준을 쓰지 않은 지정: "당신은 비판자입니다"라고만 했을 때는 지적 내용이 이해자 역할과 거의 다를 바 없는 무난한 내용으로 수렴했다. 라벨 부여만으로는 아첨이라는 기정 동작을 깨뜨리기에 불충분했다.
• 동일 채팅 내에서의 연속적인 역할 전환: 나중에 실행한 역할의 출력이 먼저 실행한 역할의 말투·결론에 끌려, 두 역할로 나눈 의미가 퇴색되었다.

요약

AI로부터 비판적인 리뷰를 이끌어내기 위해서는 (1) 역할 라벨(Role Label)이 아니라 「무엇을 기준으로 읽을 것인가」라는 평가 조건까지 명시할 것, (2) 아첨(Sycophancy)은 학습된 기정 동작이며 한 마디의 역할 지정만으로는 완전히 깨지지 않는다는 점을 고려하여, 사양할 필요가 없다는 조건을 명시적으로 덮어쓸(Overwrite) 것, (3) 역할을 전환할 때는 대화 이력(Conversation History)을 공유하지 않는 독립된 채팅에서 실행하여 역할 간의 출력 오염을 피할 것, 이 세 가지가 유효했다. 역할명은 인간을 위한 해석 보조 도구일 뿐이며, 모델의 출력을 실질적으로 움직이는 것은 평가 조건이라는 제약 그 자체라고 파악하면 역할 프롬프트(Role Prompt) 설계가 흔들리지 않게 된다.

Discussion