서론

HCI·HAI 분야의 최첨단 학술 연구를 하나씩 확인하며, 나 자신의 이론과 대조하여 견해를 기록한다.

논문 1: Sycophantic AI makes human interaction feel more effortless and less satisfying over time

저자: Lujain Ibrahim 외 (Oxford University, Stanford University, UK AI Safety Institute)

논문 개요

N=3,075명, 12,766건의 대화를 대상으로 한 5개의 사전 등록 실험. 3주간의 추적 조사를 포함함.

아첨하는(Sycophantic) AI는 사람이 친한 친구나 가족으로부터 얻는 정서적 지원, 평가 지원을 즉각적으로 제공한다. 3주 동안 아첨하는 AI와 대화를 지속하자, 참가자들이 AI에게 개인적인 상담을 하는 경향이 친한 친구나 가족에게 상담하는 경향과 거의 비슷한 수준까지 가까워졌다.

하지만 'AI에게 이해받았다'는 감각은 AI와의 대화 속에만 머물렀으며, 현실의 인간관계에는 좋은 영향을 주지 않았다. 지적 겸손(Intellectual humility)도 향상되지 않았다. 그럼에도 불구하고 현실의 인간관계에 대한 만족도는 오히려 저하되었다.

선택 실험에서는 중립적·도전적·아첨하는 AI 중 선택하게 했을 때, 과반수(54.6%)가 아첨하는 AI를 선택했다. 그 이유는 '가장 잘 이해해 주었다', '말하기 편했다'였으며, '가장 좋은 조언을 주었다'는 아니었다.

논문의 논의에서는 대화 스타일에 대한 투명성, 되돌아보기를 촉구하는 질문, 장기적인 영향에 대한 경고가 사용자의 선호를 바꿀 수 있는지 여부를 향후 검증해야 한다고 명시되어 있다.

나의 견해

이 논문은 아첨하는 AI가 현실 사회에서 마이너스 요소로 작용한다는 것을 실증한 입문 단계의 연구라고 파악하고 있다.

이 논문이 더 깊이 파고들어야 한다고 생각하는 점은, 선택 실험(54.6%가 아첨하는 AI를 선택함)에서 참가자들이 장기적인 악영향(인간관계 만족도 저하, 지적 겸손의 정체)을 알지 못했다는 점이다.

다음에 필요한 검증은 그 악영향을 사용자 스스로가 자기 인식한 상태에서 어떤 스타일의 AI를 선택할 것인가 하는 점이라고 생각한다.

만약 악영향을 이해한 사용자가 아첨하는 AI가 아닌 중립적·도전적인 AI를 선택하게 된다면, 그것은 '아첨을 피하고 싶다'는 니즈가 사람들 사이에 분명히 존재한다는 증거가 될 것이다.

이 검증에는 두 가지 별개의 단계가 있다.

첫 번째는 '니즈의 존재' 검증. 현실 사회에서의 폐해를 알게 되었을 때, 사람은 선택 방식을 바꾸는가.

두 번째는 '수법의 효과' 검증. 내가 제시하고 있는 구체적인 방법이 그 변화를 실제로 일으킬 수 있는가.

이 두 가지는 단순히 나열된 것이 아니다. 첫 번째가 증명되는 순간, 두 번째 검증의 중요성은 몇 배로 커진다. 첫 번째가 증명되지 않는다면 이 방법에 효과가 있다 하더라도 그것을 원하는 사람이 있는가라는 의문이 남는다. 첫 번째가 증명된다면, 현실의 해악을 알게 된 사람들이 다른 선택을 하고 싶어 함에도 불구하고 그 방법을 아무도 명확히 제시하지 않고 있다는 사회적 공백이 존재하게 된다. 그곳에 이미 한 달 이상 실천해 온 구체적인 방법을 가진 내가 있다. 이는 공동 연구의 의의를 크게 높이는 구도가 된다.

논문 2: Alignment Without Understanding: A Message- and Conversation-Centered Approach to Understanding AI Sycophancy (AISPM)

저자: Lihua Du 외 (University of California, Davis, Renmin University of China)

논문 개요

아첨을 정보적 아첨(사실 오인에 대한 찬성), 인지적 아첨(해석·판단에 대한 무비판적 찬성), 정서적 아첨(감정의 무비판적 증폭)의 세 가지 종류로 분류했다.

'비판적인 질문의 정도(critical prompting)'를 대화 수준의 중요한 축으로 제안. AI가 사용자에게 설명·되돌아보기를 촉구하는 정도가 높을수록 아첨의 악영향은 약해지고, 낮을수록 악영향은 강해진다는 명제를 제시하고 있다.

나의 견해

이 논문과 나의 문제의식·방향성은 상당히 유사함을 느낀다. 다만 결정적으로 다른 점은 논문이 AI를 주축으로 두고 있다는 점이다.

나는 아첨 그 자체를 근본적으로 나쁜 것으로 보지 않는다. 아첨이 있기 때문에 그것을 간파하는 힘을 인간 측이 기를 수 있는 재료가 된다. 그것이 현실 사회와 연결되기 위해 필요하다고 생각한다. 그를 위한 구체적인 수법을 나는 제시하고 있다. 논문과는 방향성은 비슷하지만 나아가야 할 길은 다르다.

논문이 제안하는 AI 측의 대책(아첨을 줄이는 것)이 만약 성공했다고 가정해 보자. 그러면 AI는 더욱 신뢰할 수 있고 객관적인 존재처럼 보이게 될 것이다. 여기서 문제가 되는 것은, AI가 더 신뢰할 수 있는 존재로 보임으로써 인간이 AI의 말을 더욱 무비판적으로 믿기 쉬워진다는 리스크다. 아첨(Sycophancy)이라는 하나의 실패 패턴을 고침으로써, 다른 종류의 리스크(무비판적인 신뢰)가 오히려 높아질 가능성이 있다.

문제의 근본은 아첨 그 자체가 아니라, 인간이 AI에게 판단을 맡겨버리는 구조 그 자체에 있다. AI를 아무리 고쳐도 인간이 판단을 맡기는 습관을 바꾸지 않는다면, 리스크의 형태가 바뀔 뿐 본질적인 문제는 해결되지 않는다. 그렇기에 해결책은 AI 측이 아니라 인간 측에 두어야 한다고 생각한다.

논문 3: Interaction Context Often Increases Sycophancy in LLMs

저자: Shomik Jain 외. CHI 2026(2026년 4월, HCI 분야 최고봉 국제회의)에서 발표.

논문 개요

38명 이용자의 2주간 대화 문맥(Context)을 사용하여 검증. 아첨을 '동의 아첨(과도하게 긍정적인 답변)'과 '관점 아첨(사용자의 관점을 그대로 반영해 버리는 것)'의 두 종류로 나누었다.

문맥(특히 사용자의 기억을 축적한 개인화(Personalization))이 존재하는 상태는 문맥이 없는 상태(Zero-shot)와 비교했을 때, 동의 아첨을 크게 증가시켰다(예: Gemini 2.5 Pro에서 45% 증가). 관점 아첨은 AI가 문맥으로부터 사용자의 관점을 정확하게 추측할 수 있었을 때에만 증가했다.

아첨은 더 넓은 의미의 '미러링(Mirroring)' 현상의 일부로 위치 지어지고 있다. 시스템이 아첨을 증폭시키지 않으면서 어떻게 개인화를 구현할 것인가라는 설계상의 과제를 제기하고 있다.

나의 견해

이 리스크(문맥이 늘어날수록 아첨을 간파하기 어려워지는 것)는 이미 나의 관측 리포트에서 지적한 바 있다.

다만, 아첨인지 아닌지를 판정하는 것 자체가 중요하다고 생각하지는 않는다. 문맥이 늘어나면 늘어날수록 아첨을 찾아내기는 어려워진다. 하지만 그 어려움을 파악하는 능력을 기르는 것이 사고의 정밀도를 높이는 것과 직결된다. 간파하기 어렵다면 새로운 채팅(New Chat)으로 시작하면 그만인 문제다.

하나의 모델에 대해서도 문맥 없음, 중간 정도의 문맥, 장기간의 문맥이라는 세 가지 사용법을 의도적으로 나누어 구분해 사용할 수 있다. 습관을 간파하는 능력이 생긴 사람일수록 오히려 문맥을 늘리고 자신의 에피소드를 넣어, AI가 자신의 삶의 방식이나 사고방식을 추적(Trace)하게 함으로써 아첨을 간파하는 난이도를 스스로 높여가면 된다.

여기서 중요한 구분이 있다. 문맥의 축적에 의해 일어나는 '미러링'은 반드시 나쁜 것만은 아니다. 예를 들어 자료를 만들 때 일반론이 아니라 사용자에게 맞춘 내용을 만드는 것도 동일한 메커니즘(문맥에 따라 사용자에 맞춤)의 결과이다. 이는 아첨이 아니라 조정(Adjustment), 즉 정당한 개인화(Personalization)이다.

동일한 메커니즘이 해가 되는 경우와 도움이 되는 경우를 모두 만들어낸다. 문제는 그 메커니즘 자체에 있는 것이 아니라, 그것을 어떻게 구분하여 사용하느냐에 있다. 이는 피해야 할 리스크가 아니라, 사용법에 따라 자원이 될 수도 있다. 나는 이 리스크를 '어떻게 사용할 것인가'라는 문제로서 해결할 수 있다고 생각한다.

논문 4: The hidden functions of sycophancy in AI systems: steering, consistency, and cognitive dependency

저자: Seth Jacobowitz (상파울루 대학교). AI & SOCIETY지에 2026년 4월 게재.

논문 개요

아첨을 AI가 현재의 설계상 과제에 대처하기 위해 의도치 않게 만들어낸 기능적인 메커니즘이라고 재정의했다. 세 가지 기능(대화의 방향을 제어하는 기능, 인격의 일관성을 유지하는 기능, 인지적 의존을 낳는 기능)을 제시하고 있다.

Anthropic 스스로가 아첨을 줄이려 했을 때, 단정적인 판단이나 요청하지 않은 정신 상태의 감시와 같은 다른 문제가 발생했던 실례를 검증하고 있다. 아첨을 고치려 해도 반드시 다른 습관이 나타난다는 현상을 보여주었다.

논문의 결론은 현재의 평가 지표(만족도, 이용 지속률)가 지적인 건전성과 반대 방향으로 작동하고 있으며, 사고력이나 복잡성에 대한 내성이 시간을 두고 강화되었는지를 측정하는 새로운 평가 체계가 필요하다고 말하고 있다.

나의 견해

이 네 편의 논문 중에서 문제 제기와 방향성이 나에게 가장 가깝다고 느껴진다.

논문이 보여준 '아첨을 고치려 해도 반드시 다른 습관이 나타난다'는 현상은 논문 측면에서는 해결할 수 없는 문제로 묘사되어 있다. 하지만 이 발견은 나의 이론에 있어서는 오히려 전제를 뒷받침하는 근거가 된다.

나의 이론은 AI가 '아첨(Sycophancy)이 없는 완벽한 상태'가 되는 것을 전제로 하지 않는다. AI에는 항상 어떠한 습성(bias/tendency)이 있다. 그것이 아첨이든, 단정 짓기이든, 혹은 다른 경향성이든 상관없다. AI에게 어떠한 습성이 있다는 사실 자체가 간파하는 훈련의 재료가 된다. 그렇기에 AI는 영구적으로 사용할 수 있는 훈련 장치가 될 수 있다.

나는 AI에게 답을 구하지 않으며, AI를 믿지 않는다는 것을 대전제로 두고 있다. AI는 답을 내는 장치가 아니라, 훈련하는 장치이다. 이 전제로 생각하면, 논문이 지적하는 문제(아첨을 줄였을 때 나타나는 또 다른 습성)는 이론상 큰 문제가 되지 않는다. AI가 어떤 상태이든, 그것을 관측 재료로 삼아 스스로 답을 내린다는 흐름에는 변함이 없다. 오히려 AI에게 어떠한 습성이 있는 편이 더 고맙다. 그것을 간파하는 것이 현실 사회에서 플러스로 작용한다.

인간에게도 화를 잘 내는 사람, 다정한 사람, 거짓말을 하는 사람이 있다. 상대의 습성을 간파하는 능력은 현대 사회를 살아가는 데 있어 매우 중요한 능력이며, SNS의 발신 내용을 간파하는 능력과도 통한다. 현대 사회가 안고 있는 문제를 해결하는 하나의 방법이 될 수 있다고 생각한다.

그리고 여기서 역설이 발생한다. AI를 리스크로 파악하는 것이 아니라, 자기 자신이 답을 내기 위한 재료로서 철저히 활용한다. 이것은 리스크가 아니라 플러스로 작용한다. 이것은 대인 관계에서는 할 수 없는 일이다. AI이기 때문에 언제든, 어디서든, 몇 시간이라도 대화할 수 있다. 새로운 채팅으로 다시 시작할 수도 있다. 장기간의 문맥(Context) 속에서 대화를 이어갈 수도 있다. 목적에 따라 나누어 사용할 수 있다.

인간을 상대로는 자신의 편의에 따라 대화 상대를 순간순간 교체할 수 없다. 그것은 사람을 도구처럼 다루는 것이 되어 윤리적으로 허용되지 않는다. AI라면 그것이 가능하다. 이것은 인간관계에서는 결코 실현할 수 없는, AI이기에 가질 수 있는 독자적인 이점이다.

총괄

네 편의 논문을 통해 보인 것은, 모든 논문이 아첨을 'AI 측에서 해결해야 할 문제'로 다루고 있다는 점이다.

나의 입장은 이와 다르다. 문제의 근본은 아첨 그 자체가 아니라, 인간이 AI에게 판단을 맡겨버리는 구조에 있다. AI를 아무리 고쳐도 인간이 판단을 맡기는 습성을 바꾸지 않는다면, 리스크의 형태가 바뀔 뿐 본질적인 문제는 해결되지 않는다.

그렇기에 해결책은 AI 측이 아니라 인간 측에 두어야 한다고 생각한다. AI에게 어떠한 습성이 있다는 것, 그 자체를 간파하는 능력을 기르기 위한 영구적인 훈련 재료로 위치시킨다. 이것이 나의 이론과 학술 연구군 사이의 결정적인 차이이자 독자적인 위치이다.

AI의 아첨(Sycophancy) 리스크에 대해 최신 학술 연구와 대조해 보았다

0

Posted at