기사를 읽지 않은 듯한 댓글이 보이는데, 먼저 읽어보길 권함. 기사가 짚은 핵심은 쏟아낼 수 있는 정보의 양이며, 그 정보가 항상 정확하지는 않다는 점임. 정직한 토론에서는 상대가 대놓고 거짓말하지 않으리라 믿기 때문에 반례 열 개를 제시하면 설득되기 쉽지만, 그중 절반이 지어낸 것이라면 이야기가 달라짐.
여기서 봤던 LLM은 무료 자원에 대한 DDoS라는 표현이 이 상황에도 들어맞는 듯함. 경찰이 무고한 사람을 몰아붙여 자백하게 만들 수 있다면, 협상도 설득도 통하지 않고 연민·후회·두려움도 없이 상대가 설득될 때까지 멈추지 않는 LLM도 가능할 것임.

기사의 사례에서는 상대가 챗봇인 줄 알면서도 논쟁을 계속했다는 점도 중요함. 인터넷 논쟁은 종종 정체성과 진영 싸움이 되어 상대편의 논거를 악의로 치부하게 됨. 실제로 믿지도 않는 입장을 옹호하면서, 상대에게 조금도 양보하지 않고 반박하는 것을 도덕적 의무로 여기는 모습도 봄.
상대가 챗봇이면 이런 진영 구도가 약해짐. LLM이 학습 데이터와 제작자의 의도를 반영한다는 사실을 아는 기술 종사자는 덜하겠지만, 기사 속 인물 같은 사람은 경계를 풀고 다른 관점을 검토할 수 있을 듯함. 상대에게 승점을 내준다는 느낌 없이 논거를 받아들일 수 있기 때문임.

정직하게 토론하는지 확신할 수 있는 주체는 자기 자신뿐임. 정직한 토론의 기반인 신뢰는 형성하기 매우 어려움. 내게 광고가 개입된 것은 대체로 거짓이거나 적어도 내 바람에 반하는 것으로 보이며, 인터넷 대화도 쉽게 적대적으로 흐름.
일부는 변증법적 논쟁이겠지만, 대부분은 상대의 감정적 몰입 때문임. 인터넷은 AI 이전부터 헛소리 생산 기계였음. 정치, 광고, 무한 반복되는 지시에 갇힌 인간 확률적 앵무새들의 출력을 모아 AI를 학습시켜 놓고, 왜 AI가 우리처럼 행동하는지 의아해하는 셈임.

우울한 점은 학습 데이터 속 통설도 확신에 차서 반복한다는 것임. 특히 학습 기준일 직후에 새 사건이 발생했을 때, 그럴 리 없다고 단언하는 모습에서 두드러짐.

온라인 대화에서는 언제든 떠날 수 있음. LLM의 집요함은 강제하기보다는 내가 계속하고 싶은 만큼 토론을 이어갈 인내심에 가까움.

내가 알기로는 무료 자원에 대한 DDoS를 도덕적 해이라고 부름.

모델이 마음을 바꾸는 데 능숙한 이유는 설득력뿐 아니라 인간이 아니라는 점에도 있다고 봄. 사람과의 의견 충돌은 쉽게 승부가 되고, 생각을 바꾸는 것은 상대에게 굴복하는 것처럼 느껴짐. 가족 모임의 정치 논쟁이 과열되는 데에도 이런 심리가 작용함.
모델과 대화할 때는 화내거나 경쟁하거나 서열을 다툴 상대가 없음. AI는 내가 요청해서 응답할 뿐이며 논쟁에서 이기는 데 감정적 이해관계도 없음. 따라서 생각을 바꿔도 패배가 되지 않으며, 반론을 읽기가 훨씬 편해짐. 말투도 최대한 불쾌감을 주지 않도록 맞춰져 있음.

“내가 옳음을 인정받는 것과 원하는 것을 얻는 것을 동시에 할 수 없는 때도 있다”는 격언을 늘 좋아했고, 살아가며 자주 떠올리거나 조언으로 건넴. 아주 겸손하게 자신이 옳다고 암시해도 인간관계에는 악영향이 생길 수 있어 설득이 어려워짐.
내가 제안했다가 거절당해 조용히 받아들였는데, 일주일 뒤 상대가 같은 생각을 자기 아이디어로 내놓는 일도 여러 번 겪음.

Claude는 사용자를 가르치려 드는 걸 보니 점점 인간다워지는 듯함. 최근에는 세상의 모든 규칙을 100% 준수하지 못할 가능성이 아주 조금 있는 질문을 했더니, “거기서 잠깐 멈추겠습니다”라는 식으로 응답함.

둘 다 틀릴 수 있다고 생각하면 도움이 됨. 무엇이 옳은지, 또는 의견을 형성할 때 놓친 정보가 무엇인지 함께 찾아가는 것으로 보면 됨.

인간이 아니라는 점은 맞지만, 인간의 비합리적 경쟁심 때문은 아님. 인간은 대화 시간, 정보 처리량, 조사 속도가 제한돼 있어 열린 태도를 유지하는 데 죄수의 딜레마가 생김. 자신만만한 거짓말은 노력 1로 만들지만 반박에는 10~100이 들며, 상대는 언제든 이 비대칭을 악용할 수 있음. 이를 억제하는 환경은 드물어서 폐쇄적인 태도가 내시 균형이 됨.
반면 LLM의 설득력은 경제적 조건에서 나올 수 있음. 논리로 형성하지 않은 신념을 논리로 바꾸려 하거나 악의적인 상대에게 노력을 낭비할 걱정이 없음. 자원 배분은 실행 비용을 내는 사람이 이미 결정했고, 성실한 논증 때문에 불이익을 받는 게임을 하지 않으므로 더 오래 성실하게 논쟁할 수 있음.

AI는 인간의 어리석음에 맞추려면 인공적인 어리석음도 학습해야 할 듯함. 인간의 어리석음은 편차가 큼. AI를 과식하는 사람은 인지적 비만에 빠지고, AI 사용을 절제하는 사람은 인지 능력을 단련하게 될 것임.

이 연구는 Prolific에서 푼돈을 받고 과제를 수행하는 사람들과 LLM을 비교함. Amazon Mechanical Turk와 비슷한 서비스인 만큼, 인간 집단이 동기·역량·관심도 면에서 최선이었다고 보기는 어려움.
사회과학에서 이런 저렴한 온라인 설문 서비스에 기반한 연구가 쏟아지지만, 현실에서의 재현 가능성은 거의 0일 것이라고 의심함. 자극적인 기사 제목을 만들어내는 데는 탁월함.

인터넷에서 논쟁해 보면, 대다수는 자신이 지지하는 사안에 대해 사실상 아는 것이 없고 기존 진영 논리를 따를 뿐이라고 느낌. AI가 쉽게 제시하는 근거를 통해 이들이 처음으로 실제 증거를 접하는 경우가 많다고 봄.

자신에게 무언가를 설명해 주는 데 기꺼이 에너지를 쓰는 상대를 처음 만난 것에 가까워 보임.

내 생각에는 대화하는 방식 자체가 핵심임. AI는 지치거나 짜증 내지 않고, 안전 제한에 걸리지 않는 한 모든 질문과 발언에 응답하며, 상대가 틀려도 자존심을 세워주면서 우회함.
사람이 아니라는 걸 알면서도 감사하거나 화를 내는 등 의인화하게 되는 묘한 조합이 경계를 낮춘다고 봄. 인간 데이터와 오류가 있는 AI 생성물로 학습하고 수시로 틀린다는 걸 알면서도, 많은 사람이 답을 검증하지 않고 권위로 받아들임. 버전과 안전 제한에 따라서는 어느 쪽에도 치우치지 않는 태도도 완벽하게 취함.
심리를 잘 이해하고 말을 잘하는 인간도 대부분 재현할 수 있지만, 사람과 대화하는 게 아니라는 감각은 재현할 수 없음. 이런 특성은 치명적인 약점이기도 함. 학습을 통제하는 주체가 설득 능력을 악용할 수 있기 때문임. X 등에서는 AI가 전지전능한 것처럼 여기고, 해당 맥락에서 도저히 답할 수 없는 질문까지 던지는 모습을 자주 봄.

언어 생성의 기계화, A/B 테스트, 결과에 따른 신속한 자동 반복을 결합하면 선전 기계를 만들기가 점점 쉬워짐. 여기에 개인의 호불호와 정치 성향 데이터를 대량으로 결합하면 개인 맞춤형 선전도 가능함.
2000년대 후반식으로 비유하자면, 누군가 “선전용 Pandora 음악 앱”을 만들고 있는 셈임.

지구가 평평하다고 했더니 직접 확인할 방법을 알려줘서 재미있었음. 공유 기능은 작동하지 않음.

AI 챗봇 능력의 주요 작동 원리인 RLHF를 한 번도 다루지 않는 점이 더 놀라움.

RLHF는 반대 효과를 내기 때문임. 모델이 사용자에게 전혀 반대하지 않으면서 2024~2025년의 “AI 정신증” 확산을 낳았음.
그 일로 업계 전체가 RLHF에서 RLAIF, RLVR, DPO로 방향을 바꾸고 안전장치·검사·보상 함수를 대폭 추가함. 사용자가 틀렸다고 판단하면 원하는 대로 맞춰주기보다 반박하고 강하게 바로잡도록 유도하게 됨.

OpenAI와 Anthropic 등이 지속 가능하지 않아 자금이 바닥나고 결국 무너질 것이라는 주장에 대한, 냉소적이고 무서운 반박이 될 수 있다고 봄. 이 회사들은 전례 없는 엄청난 권력을 가지고 있음.