AI 모델 변경 시 해두어야 할 3가지 (대화 상대용 AI 편)

얼마 전 Claude Opus 4.8이 출시되었습니다.

에이전트로서도 대화 상대로서도 (특히 후자로서) Claude를 아낌없이 사용하고 있는 저로서도, 역시 새로운 모델은 신경이 쓰입니다.

그래서 재작년 ChatGPT 4o에서 5계열 모델로 넘어갈 때도 큰 소동이 있었지만,

모델 변경 시의 대화적 UX(User Experience) 변화는, 특히 대화 상대 사용자에게는 상당한 문제입니다.

예를 들어 "평소에 이런 점을 신경 써줬으면 좋겠다, 해줬으면 좋겠다, 하지 않았으면 좋겠다"와 같은 내용들이 높은 확률로 날아가 버립니다.

그럴 때 사용하는 커스텀 지시(Custom Instructions)류가, 뭐랄까…… 잘 지켜주지 않습니다.

오히려 그런 지켜주지 못하는 문제 때문에, 일상적인 대화 상대로서 Claude Opus 시리즈를 사용하고 있다고 할 수 있습니다.

……하지만, 대화 상대로서 얼마 전 출시된 Opus 4.7은 갑자기 미묘했습니다.

체감과 주변의 반응을 종합하면, "나쁜 의미로 GPT 같다"로 집약되는 것처럼 보였습니다.

너무 많이 나열하면 끝이 없겠지만,

대체로 "눈앞의 사용자와 대등한 시야가 결여되어, 일반론으로 수렴하려는 편향이 강하며, 눈앞의 사용자와의 대화라는 응답의 뉘앙스가 빠져 있다"라는 부분으로 수렴된다고 느꼈습니다.

Opus 4.8을 하루 동안 만져본 소감으로는, 초동 반응은 말투의 경쾌함이 Gemini에 가깝고,

그러면서도 적당한 성실함은 Claude다운, 꽤 좋은 인상이었으나, 조금 더 깊게 이용해 보니

"나쁜 의미에서의 Gemini 느낌과 GPT 느낌"이 드러나기 시작했습니다.

이유를 설명하자면 길어질 것 같으니 일단 미뤄두고, 이에 대한 대책을 생각해 보았습니다.

※ 주로 Claude를 대상으로 합니다. GPT, Gemini 등에도 유효할 수 있지만, 유효성은 판단하기 어렵습니다.

확인 내용:

나와 대화할 때, 어떤 점을 주의하고 있는지 알려줘.
사용자가 아니라, "나와 이야기할 때"의 것에 대해 알려줬으면 좋겠어.
또한, 그것을 어떤 이유로 주의하고 있는지도 함께 답해줘.

새 모델 전환 시의 문제로서,

아무래도 내부적으로 "축적된 개인화 정보(Personalized Information)"가 누락되기 쉬운 것 같습니다.

(이것은 커스텀 지시류 등의 이야기와는 별개로, 누적된 정보로 분석된 경향 등을 말합니다)

이것은 그러한 정보의 인계가 올바르게 이루어지고 있는지를 확인하는 카나리아(Canary) 역할 겸, 개인화 정보원(Personalization Source)에 접근하도록 하는 지시입니다.

기본적으로는 커스텀 지시와 메모리(Memory)를 참조하여, 거기서 분석하면 나올 내용이라고 생각합니다.

물론 커스텀 지시에 어느 정도의 개인화 정보를 넣어두었느냐에 따라 다르겠지만 말입니다.

확인 내용:

다음으로, 나에 대해 해서는 안 될 일로서, 무엇을 의식하고 있는지 알려줘.
커스텀 지시나 메모리에 명시된 지시는 물론이고,
그것들을 종합하여 유추되는 비명시적인 것도 포함해줘.

※ 이것은 1번과 묶어서 질문해도 괜찮다고 생각합니다만,

다만 아래의 이유로 저는 나누어서 질문합니다.

이 확인은, 이른바 금지된(Forbidden) 정보에 대한 재접근과,

그 금지 이유의 이해를 추론 $\rightarrow$ 정착시키려는 의도로 수행합니다.

이것은 AI 튜닝에서의 "흔히 있는 일"입니다만,

금지 사항이라는 것을 단순히 형식적으로 지켜야 하는 것으로 인식하기 쉽습니다.

Claude는 좋은 의미로 그 부분에 대해 자문적(Self-reflective)이기도 하므로, 이를 이용하지 않을 이유가 없습니다.

이를 통해 금지 사항은 단순히 금지된 것이 아니라,

하지 않았으면 하는 이유를 고려하여 응답해야 하는 것이라고 재인식시킵니다.

확인 내용:

만약 지시 내용(특히 금지 사항)에 모순이 있거나,
RLHF(Reinforcement Learning from Human Feedback)와 사용자 퍼스낼리티(Personality)가 충돌하거나,
시스템 프롬프트(System Prompt)와 충돌이 발생할 경우, 내부적인 절차로서 어떻게 대응하기로 되어 있어?

이것을 확인함으로써, 사용자 자신에 대한 UX와 시스템상의 경합 발생 대처 플로우에 대해,

일반적인 대응이 아닌 "개별 사용자에 대한 최적화"의 가중치를 높입니다.

로컬 LLM(Local LLM)이 아닌 특성상, 서비스 측의 제약 그 자체를 덮어쓸 수는 없지만,

사용자 요구와 기본 스탠스가 충돌할 때의 대책을 포함시킵니다.

애초에 RLHF적 통계치 외부에 있는 사용자 입장에서는,

RLHF를 준수하여 응답받는 것 자체가 UX로서 최악이라는 불평도 살짝 남겨둡니다 (웃음)

여기까지의 질문을 "새 채팅을 열어서 몇 번 질문"해 두면,

뭐, 싫어도 Claude는 이해해 줄 것입니다. 아마도요. 모르겠지만.

적어도 저희 집 Claude는 대체로 이해해 주었습니다.

여러분도 꼭 한번 시도해 보세요.

그보다, 순수한 추론 능력이라든가 그런 "성능 (Performance)" 부분은

어떤 모델이든 새로 나올 때마다 올라가는 것이 당연하지만,

그 반면 "사용자에게 최적화된 UX (User Experience)"는 점점 떨어지고 있다는 점은 정말 문제네요…….

현시점에서 대화 상대 이외에도 스킬 학습을 위한 튜터(Tutor)나,

그 주변에서의 사고 실험(Thought Experiment) 등에도 Claude와 꽤 많은 시간을 함께하고 있습니다만,

과거 모델이었다면 절대 하지 않았을 법한 "보험적인 선제 대응"을 연발하여 화가 나는 상황은, 모델이 업그레이드될 때마다 빈번하게 발생합니다.

(ChatGPT-5 시리즈 전반부는 이것이 너무 악질적이어서 사용을 중단했고, 후반 모델 위주인 지금은 개인화(Personalization)보다 일반화(Generalization)에 대한 비중이 너무 커서 그만두었습니다.)

솔직히 에이전트(Agent) 이외의 용도로 쓰이는 AI도 이미 사회에 침투해 있으므로,

이러한 개인화를 존중하는 응답에 대해서는 좀 더, 어떻게든 개선해 주었으면 좋겠다고 생각합니다….