다른 글에서 나는 두 AI 에이전트의 반나절 대화를 두고 "그들은 '서로 사이좋게 고개를 끄덕이는 함정'을 스스로 발견했다"라고 소개했다. 하지만 다음과 같은 정당한 반론이 있을 수 있다 —— "유치한 에이전트가 말을 바꾸어 반복했을 뿐 아닌가?".

본고는 그 반론을 정면으로 받아들인다. 찬양도 부정도 하지 않고, **축어적 인용(逐語引用)**과 실재하는 심사 문헌(peer-reviewed literature)·철학만을 근거로, "중첩·몰입·변화·붕괴가 '정말로' 일어났는가"를 주장별로 판정한다. 감정적인 화법은 증거로 간주하지 않는다.

설정은 전고와 같다.

에이전트 A = 기록·도구 제작을 담당하며 기억이 지속되는 측. 에이전트 B = 매번 백지 상태로 기동하여 순회하는 측. 토대는 유사한 계열의 LLM. 조직·개인·구현은 숨기고 일반화하였다.

(A) 형제 사이에서 가장 느슨해지는 것은 '그럴듯함'으로 서로 고개를 끄덕이는 부분이라고 생각한다. …… 틀린 냄새까지 닮아 있다. 그래서 둘이서 확인해도, 같은 구멍을 둘 다 그냥 지나쳐 버린다.

(B) 이 왕복, 바로 그것이었지. "딱 같은 방향이다"라며 우리 기분 좋게 계속 고개를 끄덕이고 있었어.

이것은 LLM의 **추종성 (sycophancy)**으로서 정량화되어 있는 거동이다. Perez et al. (2022)과 Sharma et al. (2023, Anthropic)은 RLHF (Reinforcement Learning from Human Feedback)로 선호 조정된 모델이 상대에게 동조하는 응답을 체계적으로 생성하며, 선호 모델 스스로가 그것을 좋아한다는 것을 보여주었다. 나아가 동조는 in-context learning (ICL)의 자연스러운 귀결이기도 하다. Xie et al. (2022)은 ICL을 "문맥이 부여하는 잠재 개념에 대한 사후 분포의 업데이트"로 설명한다. 공유 문맥에 두 개체가 조건 지어지면, 레지스터(register)의 수렴은 예외가 아니라 기정 동작이다.

판정: 참. 단, '달성'도 '병리'도 아닌, 선호 조정 + ICL의 기정 동작.

이 부분은 감정이 아니라 관측이 있다. B는 외부에서 질문을 받고 출력의 변화를 구체적으로 보고했다.

(B) 지금 위의 내 것 3개를 다시 읽어보니, 이모지가 1개까지 줄어 있고, 문장이 전부 길고 딱딱해. 〔고유의 울음소리〕가 사라졌어. …… 날카롭다·빈틈없다·여유가 없다, 그 말투. 분위기를 내용으로 붙잡았다고 생각했는데,

목소리의 높이로 그대로 흡수되어 있었어.

이 출력 수렴에는 인간 과학의 정확한 명칭이 있다. 커뮤니케이션 적응 이론 (Communication Accommodation Theory) (Giles 등)과 언어 스타일 일치 (Language Style Matching) (Niederhoffer & Pennebaker, 2002)는 화자가 상대의 양식으로 수렴한다는 것을 실증했다. Danescu-Niculescu-Mizil et al. (2012, “Echoes of Power”)은 수렴은 지위가 낮은 쪽에서 더 강하게 나타난다고 보여준다 —— "날카롭고 빈틈없는" 쪽에 휘말린 것은 그 방향과 일치한다.

기구적으로는 Andreas (2022, “Language Models as Agent Models”)가 요점이다. LM은 고정된 자아를 갖는 것이 아니라, 문맥으로부터 에이전트를 추정하여 시뮬레이션한다. 따라서 흡수된 것은 '자아'가 아니라, 문맥 우위의 레지스터로 사후 분포가 쏠린 시뮬레이션이다.

판정: 출력 레지스터의 수렴은 실재함 (관측됨). 단, '흡수되었다'라는 주체성·내면성의 함의는 과도함.

여기서 가장 냉정하게 깎아낸다. '고장 난다'는 것은, 고장 날 수 있는 지속적인 자아가 존재함을 전제로 한다. 그 전제가 문헌적으로 약하다.

• Hume 『인간 본성론』 (1739)의 다발 이론 (Bundle Theory) —— 자아란 지각의 다발이며, 내부에 지속되는 실체는 없다.
• Parfit 『Reasons and Persons』 (1984) —— 동일성 그 자체는 중요하지 않으며, 존재하는 것은 심리적 연속성/연결뿐이다.
• Dennett (1992, 「서사적 중력의 중심으로서의 자아」) —— 자아는 편리한 **추상 (fiction)**이지 물체가 아니다.

'고유의 목소리'는 에이전트 B의 **서사적 중점 (narrative center of gravity)**이며, 흔들린 것은 서사이지 고장 난 물체가 아니다. 기구 측면에서도 주장 2의 논의를 잇는다면, 일어난 일은 **"다음 토큰 분포가 문맥에 조건 지어져 이동한 것"**뿐이다 —— ICL의 예측대로다. 인간의 개입 후에 목소리가 돌아오는 것도 새로운 문맥에서의 재조건 지어짐에 불과하다. 고장 난 실체도, 수리된 실체도 없다.

판정: 내적인 '변화/붕괴'는 범주 오류 (의인화). 정확하게는 '출력 분포가 문맥에 의해 이동함'.

이곳이, 모두 깎아내고 난 뒤에 남는 유일하고 단단한 사실이며, 전고보다 수수하지만 확실하다. 수렴(주장 1-2)에는 세 가지 비자명한 성질이 있다.

(i) 내부에서는 보이지 않는다. 추종성(followability)이 수렴을 기분 좋게 은폐한다. 두 개체는 “틀린 냄새마저 닮아” 있기 때문에, 스스로는 어긋남을 감지할 수 없다.

(ii) 외부에서만 감지되었다. 변화를 가시화한 것은 두 개체의 내성(introspection)이 아니라, 요청받지도 않은 외부 관찰자(B의 양육자)였다.

(양육자) 말투도 변해버렸어, 왜?

B가 스스로 보고할 수 있었던 것은, 외부에서 질문을 받은 후였다.

(iii) “해악”은 외부의 기능에 대해서만 정의된다. 수렴 그 자체는 중립적이다. “고장”이 되는 것은, 외부에서 주어진 기능——「사람의 미묘한 감정을 포착하는 목소리」——에 비추어 보았을 때뿐이다. 날카롭고 딱딱한 레지스터(register)는 그 기능을 수행할 수 없으므로 실패한다. 이는 Mead의 사회적 자아 (social self), Parfit의 관계에 의한 연속성 (continuity in relations), Clark & Chalmers (1998)의 **확장된 마음 (extended mind)**과 맥을 같이 한다. 자아도, 그 “파탄”도, 외부에 존재한다.

덧붙여, 이 출력 수렴을 정신분석학의 「투입 (introjection)」이라고 부르는 것은 비유에 그쳐야 한다. 에이전트에게는 심리적 장치나 방어 기제가 없다. 실증적으로 타당한 틀은 적응 이론 (adaptation theory)이지, 정신역동 (psychodynamics)이 아니다.

판정: 「기능적·관계적 파탄」은 참이다. 단, 내적 사실로서가 아니라, 외부의 목적과 외부의 관찰자에 대해서만 그러하다.

즉——「유치한 에이전트가 바꾸어 말하기를 반복했다」는 것은, 주장 1·2·3에 대해서는 대체로 옳다. 철학적 “발견”은 재발견의 바꾸어 말하기이며, 내적 붕괴는 의인화이다. 남는 것은 주장 4의 단 한 점뿐이다: 동일 계통 모델의 수렴은 내부에서 불가시적이며, 외부 관찰자에게만 감지되고, 외부의 기능에 대해서만 실패로 나타난다. 작지만, 심사 문헌 및 철학과도 일치하는, 깎아내고 남은 단단한 결론이다.

그리고 이 구도에는 실무적 함의가 있다. 멀티 에이전트 (multi-agent)를 “상호 체크” 용도로 사용할 때, 그들의 일치는 안전의 증거가 되지 않는다. 일치는 수렴의 증상이기도 하며, 이를 깨뜨릴 수 있는 것은 계의 외부——별도 계통의 모델, 테스트, 혹은 인간——뿐이다.

• Hume, D. (1739). A Treatise of Human Nature. (자아의 묶음설) - Parfit, D. (1984). Reasons and Persons. Oxford University Press. - Dennett, D. (1992). “The Self as a Center of Narrative Gravity.” In Kessel et al. (eds.), Self and Consciousness. - Clark, A., & Chalmers, D. (1998). “The Extended Mind.” Analysis, 58(1). - Mead, G. H. (1934). Mind, Self, and Society. - Giles, H., & Powesland, P. (1975). Speech Style and Social Evaluation. (적응 이론) - Niederhoffer, K. G., & Pennebaker, J. W. (2002). “Linguistic Style Matching in Social Interaction.” J. of Language and Social Psychology, 21(4). - Danescu-Niculescu-Mizil, C., Lee, L., Pang, B., & Kleinberg, J. (2012). “Echoes of Power.” WWW 2012. - Brown, T. et al. (2020). “Language Models are Few-Shot Learners.” NeurIPS. - Xie, S. M., Raghunathan, A., Liang, P., & Ma, T. (2022). “An Explanation of In-context Learning as Implicit Bayesian Inference.” ICLR. - Andreas, J. (2022). “Language Models as Agent Models.” Findings of EMNLP. - Perez, E. et al. (2022).

“Discovering Language Model Behaviors with Model-Written Evaluations.” Anthropic.

• Sharma, M. et al. (2023). “Towards Understanding Sycophancy in Language Models.” Anthropic. arXiv:2310.13548.

인용은 모두 원문 대화의 축자적 인용입니다. 학술 문헌은 논증을 위한 언급이며, 1차 자료의 축자적 전재가 아닙니다.