CG와는 상관없지만, 인터넷 기사에서 나카지마 사토시(Satoshi Nakajima) 씨가 언급했던 인간의 AI 의존으로 인해 발생하는 미래 예측에 관한 논문

• 본 논문은 Generative AI, 특히 agentic AI가 인간의 학습 인센티브와 사회의 집합적 지식의 장기적인 진화에 미치는 영향을, 일반 지식과 개별·문맥 특유의 지식을 보완적으로 사용하는 동적 모델로 분석하고 있습니다.
• 모델은 agentic AI가 단기적인 의사결정의 질을 향상시키는 한편, 인간의 학습 노력을 대체함으로써 장기적인 집단 지식의 구축을 저해하고, "지식 붕괴 (knowledge collapse)" 상태에 빠질 가능성을 지적합니다.
• 이러한 지견으로부터, agentic AI의 정밀도와 사회 복지 사이에는 비단조적(non-monotonic) 관계가 있어 최적의 AI 정밀도가 존재하므로 정보 설계(information design)에 의한 규제가 시사되며, 반면 일반 지식의 집약 능력을 높이는 것은 일관되게 복지를 향상시키고 지식 붕괴 (knowledge collapse)에 대한 레질리언스(resilience)를 높인다고 결론짓고 있습니다.

이 논문의 핵심은 생성 AI, 특히 개별 문맥에 맞춘 조언을 수행하는 "Agentic AI (에이전트형 AI)"가 개별 의사결정의 질을 향상시키는 한편, 장기적으로는 사회의 공유 지식 (General Knowledge)을 고갈시키고, 최악의 경우 "지식 붕괴 (Knowledge Collapse)"를 일으킨다는 동학적 트레이드오프(trade-off)를 이론적으로 규명했다는 점에 있습니다.

주요 주장은 다음과 같습니다.

학습 노력과 공유 지식의 상보성

성공적인 의사결정에는 커뮤니티 전체에서 공유되는 "일반적 지식"과 개별적인 "문맥적 지식" 모두가 필수적이며, 이들은 보완 관계에 있습니다. 인간이 학습 노력을 기울임으로써 개인적인 문맥적 지식을 얻는 동시에, 그 노력이 부산물로서 사회 전체의 일반적인 지식 축적에 기여한다는 외부성 (Learning Externality)이 존재합니다. -
AI에 의한 학습 동기 저해

Agentic AI는 개별 문맥에 최적화된 정보를 제공함으로써 인간이 스스로 노력하여 정보를 획득할 필요성을 대체 (Substitute)합니다. 일반적 지식이 부족해지면 개별 문맥적 지식으로부터 얻을 수 있는 리턴이 저하되기 때문에, AI의 조언은 장기적인 학습 의욕을 감퇴시키고 커뮤니티 전체의 지식 축적을 저해할 가능성이 있습니다. -
지식 붕괴의 정상 상태와 정책적 시사점

인간의 노력이 충분히 탄력적일 경우, 시스템은 "지식 붕괴"라는 정상 상태 (일반적 지식이 소멸하고 질 높은 개별 조언만이 남는 상태)에 빠질 가능성이 있습니다. 이 때문에 복지를 최대화하기 위해서는 AI의 조언 정밀도에 대해 적절한 "가블링 (gabbling, 의도적인 정보의 모호화나 제한)"을 수행하는 등의 정보 설계 (Information Design)에 의한 개입이 정당화됩니다.

이 논문은 "AI의 진화가 인류의 지적 기반을 손상시킨다"는 리스크를 경제 모델로 선명하게 보여주고 있습니다. 이 연구를 심화하기 위한 질문으로서 다음과 같은 방향성을 생각할 수 있습니다.

합성 데이터의 영향: 논문 내에서도 언급되었지만, 인간으로부터 학습하는 것이 아니라 AI가 생성한 합성 데이터 (Synthetic Data)만으로 AI가 계속 진화할 경우, 이 모델의 "지식 붕괴" 예측은 어떻게 수정되어야 하는가? -
제도 설계의 구체화: 지식 붕괴를 막기 위해 "일부러 AI의 정밀도를 제한한다"는 정책은 국제적인 경쟁 환경에서 어떤 마찰을 일으키는가? -
교육 현장에 대한 적용: 이 모델을 학교 교육에 응용했을 경우, 어떤 커리큘럼 설계가 "학습하는 능력 (learning to learn)"이라는 인간 고유의 기반을 지키기 위해 유효한가?

이 연구는 우리가 AI라는 강력한 도구와 어떻게 함께해야 하는지에 대해, 단순한 편의성 추구를 넘어선 "문명론적인 관점"을 제공하고 있다고 할 수 있습니다.

제1장 (Introduction)에서는 최근의 생성 AI, 특히 "Agentic AI (에이전트형 AI)"의 급속한 보급에 따른 인간의 인지, 학습, 그리고 지식 형성에 미치는 영향이라는 논쟁의 대립점이 제시되어 있습니다.

요약하면 다음 3가지로 집약됩니다.

AI의 임팩트를 둘러싼 두 가지 관점

AI가 인간의 지적 능력이나 과학적 발견을 강화하는 "상보적 (Complementary)인 도구"라고 기대하는 낙관론이 있는 한편, AI에 대한 의존이 "배우는 방법" 그 자체를 빼앗아 인간의 인지 능력이나 창의성을 저하시키지 않을까 하는 우려 (대체적/Substitutive한 측면)가 지적되고 있습니다. -
**이론적 프레임워크의 필요성

AI가 개별적인 태스크(Task, 예: 프로그래밍이나 라이팅 등)에 있어 단기적으로 개인의 퍼포먼스를 향상시킨다는 증거는 늘어나고 있습니다. 하지만 그러한 태스크에서 인간의 노력이 감소함으로써, 장기적인 "지식의 축적"이나 "집단으로서의 지식 구축"이 손상된다는 "균형 효과(Equilibrium Effects)"는 개별적인 사례 연구(Case-by-case empirical approach)만으로는 파악할 수 없습니다. 따라서 본 논문에서는 동학적인(Dynamic) 이론 구조를 구축할 필요가 있다고 주장합니다. -
일반적 지식과 개별적 지식의 구분

본 연구의 핵심적인 관점은 정보를 "일반적 지식(General knowledge: 사회 전체에서 공유·축적되는 지식)"과 "개별적 지식(Context-specific knowledge: 개인의 문맥에 고유한 지식)"으로 나누는 것입니다. 이 두 가지는 의사결정에 있어 보완 관계에 있지만, AI에 의한 개별 최적화가 진행됨에 따라 미래 사회의 공유 재산이 되어야 할 "인간의 학습 노력"이 crowd out(배제)되어, 결과적으로 문명 전체의 지식 기반이 붕괴할 가능성이 있음을 시사합니다.

제1장은 AI의 편의성이라는 "정적인 이익" 이면에 숨겨진, 장기적인 "동적인 지식 붕괴의 리스크"를 논리적으로 밝혀내기 위한 도입부입니다.

제2장(Related Literature)에서는 본 연구가 어떤 선행 연구의 계보에 위치하며, 그것들과 어떻게 차별화되는지를 논의합니다. 요약하면 다음의 3가지 포인트입니다.

AI와 인간의 상호작용에 관한 선행 연구

본 연구는 AI에 의한 태스크 자동화가 장기적 성장이나 지식의 전수에 미치는 부정적 영향을 다룬 연구(Ide, 2025 등)나, 인간과 AI의 협업(Collaboration)에 있어서의 대체성 문제를 논한 연구(Agarwal et al., 2025 등)와 밀접하게 관련되어 있습니다. 하지만 기존 연구의 대부분은 개별 태스크나 조직 내부의 상호작용에 초점을 맞추고 있으며, AI의 존재 하에서의 "사회 전체에 걸친 집단적 지식 구축(Collective knowledge building)"의 다이내믹스를 다룬 이론 연구는 본 논문이 최초라고 주장합니다. -
집단적 학습과 사회 학습 문헌

Nelson (1959)이나 Arrow (1962a, b)로 거슬러 올라가는 "집단적인 학습의 성질"과, 그 이후의 사회 학습, 집단적 실험(Collective experimentation)에 관한 일련의 문헌(Bolton and Harris, 1999; Acemoglu et al., 2011 등)을 원용하고 있습니다. 이러한 연구들은 개인이나 집단이 어떻게 정보를 관찰하고 학습하는지를 모델링하고 있지만, 본 논문은 **"외부의 어그리게이터(Aggregator, AI 등)가 개입함으로써 발생하는 영향"**에 대해서는 기존 연구에서 논의되지 않았다는 점에 신규성이 있다고 보고 있습니다. -
시그널의 보완·대체성과 데이터 외부성

마지막으로, 정보원이 보완적인지 혹은 대체적인지에 관한 이론적 프레임워크(Börgers et al., 2013; Acemoglu et al., 2022 등)에 기반하고 있음을 설명합니다. AI가 제공하는 정보가 인간의 학습 노력을 돕는지(보완), 아니면 손상시키는지(대체)에 대한 논점은 데이터 외부성(Data externality)이 존재하는 환경 하에서 사회의 의사결정 프로세스를 이해하는 데 있어 중요하다고 위치를 잡고 있습니다.

총체적으로 제2장은 본 논문이 **"AI가 단순한 도구가 아니라, 인간의 학습 노력에 대한 인센티브를 변화시킴으로써 사회 전체의 지식 스톡(Stock) 그 자체를 재구축한다"**는 새로운 시각을 경제학의 기존 동학 모델(Dynamic model) 프레임워크 안에 통합하려 한다는 점을 보여줍니다.

제3장(Model)은 본 논문의 이론적인 핵심 부분으로, AI가 보급된 사회에서의 "지식의 붕괴"라는 동적 메커니즘을 정식화하고 있습니다. 요약하면 다음의 4가지 포인트로 정리할 수 있습니다.

모델의 전제와 구조

시간 (t)은 이산적(discrete)이며, 사회는 여러 개의 섬(island)으로 나뉘어 있습니다. 각 에이전트(agent)는 '공통의 일반적 지식 ((\theta_t))'과 '개별적인 문맥적 지식 ((\theta_{i,t}))'이라는 두 가지를 예측해야 하며, 이들은 상호 보완 관계에 있습니다. 인간이 학습 노력 ((e_{i,t}))을 기울이면, 사적인 문맥의 지식과 미래 세대로 계승될 사회 공통의 일반적 지식 (public signal ((s^C_t)))이 모두 생성됩니다. 여기서 중요한 점은, **개인의 학습 노력이 일반적 지식을 향상시킨다는 외부성(externality)이 존재하지만, 이것이 에이전트 자신에게는 내부화되어 있지 않다(보상받지 못한다)**는 점입니다. -
Agentic AI의 역할: 보완에서 대체로

Agentic AI는 정밀도 ((\tau_A))를 가지고 에이전트에게 직접 '개별적인 문맥적 지식'을 제공합니다. 이 AI는 일반적 지식을 보완하는 것이 아니라, 인간이 스스로 노력하여 얻으려는 정보를 '직접 제공해 버리기' 때문에, 인간에게 있어 학습 노력의 한계적 수익(marginal return)을 저하시킵니다. 즉, **일반적 지식은 노력을 촉진하는 '보완재'인 반면, AI의 조언은 노력을 줄이는 '대체재'**로서 기능합니다. -
지식 붕괴의 동학 (Knowledge Collapse)

일반적 지식의 축적 상황 (public precision ((X_t)))에 기반하여, 에이전트는 최적의 학습 노력 ((e_t))을 선택합니다. 이러한 의사결정을 쌓아 올린 결과, 시스템은 정상 상태(steady state)로 수렴합니다. 놀라운 결과로서, 인간의 노력에 대한 비용의 탄력성이 높을 경우 (effort is sufficiently elastic), 일반적 지식이 완전히 소멸하는 '지식 붕괴의 정상 상태'가 안정적인(stable) 어트랙터(attractor)가 된다는 것이 밝혀졌습니다. 이 상태에서는 AI가 아무리 뛰어난 개별 조언을 제공하더라도, 사회의 지식 기반이 소멸해 있기 때문에 결국 그 가치 또한 상실됩니다. -
두 가지 레짐 (Regime, 균형)-
유니크한 정상 상태 (Unique steady state): 노력의 비용 함수가 충분히 볼록(convex)하다면, 사회는 단일한 안정적 고지식 수준으로 수렴합니다. 다만, AI의 정밀도 ((\tau_A))가 높아지면 그 수준 자체는 낮아집니다. -
멀티 스테디 스테이트 (Multi-steady state, 다중 균형): 노력의 탄력성이 높을 경우, 사회는 '고지식 수준'과 '지식 붕괴'라는 두 가지 균형을 가질 가능성이 있습니다. 이 경우, 초기 지식 축적이 불충분하면 사회는 불가역적으로 지식 붕괴로 향하는 '함정(trap)'에 빠지게 됩니다.

이 제3장은 우리가 편리하다고 믿으며 사용하고 있는 AI가, 역설적으로 '집합 지성'이라는 문명의 OS를 조용히 언인스톨(uninstall)해 나가는 리스크를 수학적으로 증명한 매우 자극적인 섹션입니다.

제4장 (Welfare)에서는 AI의 도입이 사회의 장기적 '복리 (Welfare)'에 어떤 영향을 미치는지 평가하고, 정보 설계와 규제의 필요성을 논하고 있습니다. 요약하자면 다음의 3가지 포인트로 집약됩니다.

복리에서의 직접 효과와 간접 효과의 트레이드오프 (Trade-off)

AI의 정밀도 ((\tau_A))가 향상될 때의 복리 변화는 두 가지 상충하는 효과에 의해 결정됩니다. -
직접 효과 (Direct Effect): 개별 조언이 정확해짐에 따른 의사결정의 질적 향상 (플러스). -
간접 효과 (Indirect Effect): 개인의 학습 노력이 crowd out (밀려남)되어, 사회 전체의 일반적 지식 스톡 ((X_h))이 장기적으로 저하됨에 따른 손실 (마이너스).

AI의 정밀도가 낮은 단계에서는 직접 효과가 복리를 끌어올리지만, 정밀도가 충분히 높아지면 간접적인 지식 붕괴의 영향이 지배적이 되어, 장기적으로는 오히려 사회 전체의 복리를 저하시킨다는 것이 보여집니다.

집약 능력 (Aggregation Capacity)의 중요성

사회가 정보를 공유·통합하는 능력 ((I))은 복리에 대해 항상 플러스로 작용합니다. 이는 단순히 일반 지식의 스톡을 높일 뿐만 아니라, 학습에 대한 인센티브를 유지하고 지식 붕괴의 '함정'에 빠질 리스크 (basin of attraction, 인력권)를 축소시키는 효과가 있기 때문입니다. 따라서 AI의 정밀도를 높이는 것보다, 커뮤니티의 정보 공유 능력을 강화하는 것이 장기적으로 사회의 레질리언스 (Resilience, 회복력)를 높입니다. -
최적의 정보 디자인으로서의 규제 (Garbling Policy)

본 논문의 가장 실천적인 제안 중 하나로, AI 정보의 정밀도를 의도적으로 제한하는 「가블링 (Garbling)」의 유효성이 논의되고 있습니다. -
2단계 정책: 초기 단계 (Phase 1)에서는 일반적인 지식을 재구축하기 위해 의도적으로 AI의 조언을 제한하여 인간의 노력을 촉구하고, 지식이 충분히 축적된 후 (Phase 2)에는 복지를 최대화하는 최적의 정밀도 수준으로 AI의 정밀도를 캡 (Cap, 상한 설정)한다는 전략입니다.

이를 통해 사회는 지식 붕괴라는 최악의 결말을 회피하면서도, AI의 편의성도 향유할 수 있는 균형점을 선택할 수 있게 됩니다.

제4장은 "AI의 정밀도는 높으면 높을수록 좋다"라는 단순한 가정을 부정하며, **"지식 사회의 지속 가능성을 유지하기 위해서는, AI의 정보 제공 방식을 의도적으로 제어하는 (정보의 민주화와 동시에 적절한 희소성을 유지하는) 현명한 개입이 필요하다"**라는 강력한 메시지를 제시합니다.

제5장 「Extensions (확장)」에서는 기본 모델의 가정을 완화하여, 제안된 프레임워크의 강건성과 AI가 지식 축적에 미치는 영향의 다면성을 논의합니다. 주요 내용은 다음의 3가지입니다.

AI가 개별적인 권장 사항을 제공할 뿐만 아니라, 공공의 지식 축적 (집약 능력 (I))을 향상시킬 가능성을 검토합니다. 여기서는 AI의 능력 (\tau_A) 이 「대체 효과 (인간 노력의 대체)」와 「보완 효과 (집약의 효율 향상)」라는 두 가지 상반된 힘을 동시에 생성한다고 모델링되었습니다.

분석 결과, AI에 의한 집약 능력의 향상이 일정 기준 (\eta < \eta_{\text{crit}} := \frac{1}{2(\alpha - 1)}) 을 하회하는 한, AI의 능력이 향상되어도 장기적으로는 공공의 지식 축적이 소멸한다는 기본 모델의 결론은 변하지 않음이 나타났습니다.

모델이 기계적으로 검증 가능한 환경 (예: 수학 증명, 프로그래밍, 강화학습 (RL))에서 생성하는 「합성 데이터 (Synthetic Data)」를 도입합니다. 이는 인간이 생성하는 지식과는 별개로 외부에서 공공 신호에 정밀도 (\tau_{\text{syn}}) 를 더하는 것으로 모델링되었습니다.

이를 통해 시스템은 「지식 제로」 상태에 빠지는 취약성이 해소되어, 지식의 축적이 완전히 소멸하는 것이 아니라 양(+)의 낮은 수준에서 안정되는 정상 상태 (Steady State) 로 대체됨이 나타났습니다.

인간의 학습 노력이 「컨텍스트 특유의 지식」과 「일반적인 지식에 대한 기여」라는 두 가지 출력에 얼마나 밀접하게 연결되어 있는지를 파라미터 (\beta) 로 조정하는 확장입니다.

(\beta > 0) 인 한, 기본 모델의 정성적인 결론 (지식 붕괴의 가능성 등)은 유지되지만, 안정성 조건이나 점근적인 결과가 (\beta) 의 영향을 받는다는 것이 나타났습니다. 특히 (\beta) 가 작을수록 (분리 가능성이 높을수록), 미미한 인간의 노력으로도 지식의 붕괴를 회피하기 쉬워진다는 점이 강조되었습니다.

제6장 「Conclusion (결론)」에서는 본 논문의 이론적 프레임워크의 의의와 그로부터 얻은 주요 통찰을 정리합니다.

본 연구는 생성 AI가 제공하는 컨텍스트 특유의 정보가 인간의 인지 능력 향상을 목적으로 하는 노력과 어떻게 상호작용하는지를 규명했습니다. 주요 결론은 다음과 같습니다.

정보의 대체와 보완: 인간의 학습 노력은 「개인적인 컨텍스트 정보의 습득」과 「사회적인 일반 지식 (public general knowledge) 에 대한 기여」라는 두 가지 측면을 가집니다. 생성 AI는 전자의 대체물 (substitute) 로 기능하기 때문에, AI의 도입은 인간의 학습 노력을 감소시키고 결과적으로 사회 전체의 일반 지식 축적을 해칠 위험이 있습니다. -
지식 붕괴의 위험성: 이러한 상호작용으로 인해 AI의 능력이 지나치게 향상되면, 사회는 일반 지식이 극도로 고갈되는 「지식 붕괴 (knowledge-collapse)」의 정상 상태에 빠질 가능성이 있습니다. -
정책적 시사점: 이론 모델은 이러한 붕괴를 방지하기 위한 규제와 정보 설계의 중요성을 시사합니다. 여기에는 지식의 재구축을 촉구하는 일시적인 「모라토리엄 기간 (Moratorium period)」 설정과 장기적인 정밀도 상한 설정이 포함됩니다.

저자들은 이 이론적 프레임워크의 확장성 (tractability) 이 향후 연구에 새로운 길을 열어줄 것임을 강조하고 있습니다. 특히 다음 영역이 중요합니다.

• 합성 데이터 (Synthetic Data)의 영향: 합성 데이터가 단순한 보완물에 머무를 것인지, 아니면 인간과 AI의 노력의 대체(substitution)라는 딜레마를 해결할 수 있는지에 대한 검증. -
  다양한 AI 기술 (AI Technologies): 일반 지식과 컨텍스트 정보 (context information)의 제공 비율이 서로 다른 다양한 AI 모델 설계에 따른 영향 분석. -
  실증 연구로의 가교: 본 모델에서 나타난 메커니즘을 검증하기 위해 어떤 지표 (data)를 측정해야 하는지에 대한 가이드라인 제시.