Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 접지(grounding) 문제를 기호에서 벡터로의 전환 관점에서 재검토하며, 지칭이 프로필 기반의 문맥 민감적 구조임을 주장합니다. LLM이 인간과 같은 이해를 갖는 대신, 언어적 흔적을 수치적으로 매개변수화하여 지칭 프로필을 형성하는 메커니즘을 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기본 논문은 최근의 벡터 접지(vector-grounding) 설명에 비추어 대규모 언어 모델(LLM)의 접지(grounding) 문제를 재검토합니다. 본인은 고전적인 기호 접지(symbol grounding)에서 벡터 접지로의 전환을 수용하지만, 현재의 논쟁이 두 가지 측면에서 여전히 불완전하다고 주장합니다. 첫째, 지칭(reference)은 종종 고립된 표현과 대상 사이의 고정된 연결인 것처럼 너무 얇게 취급됩니다. 대신 본인은 지칭이 프로필 기반(profile-based)이며, 문맥 민감적(context-sensitive)이고, 담화 수준(discourse-level)이며, 정서적으로 형성되고(affectively shaped), 규범에 의해 통제된다(norm-governed)고 주장합니다. 인간의 경우에도 지칭은 동일한 사적 표현(private representations)을 통해서가 아니라 사용, 교정, 구별, 추론 및 지속의 패턴을 통해 공공적으로 안정화됩니다. 둘째, 벡터 접지는 수치적 실현(numerical realization)에 대한 설명이 필요합니다. LLM은 인간의 지각, 기억, 의도, 체화(embodiment) 또는 이해를 통해 지칭을 습득하지 않습니다. 오히려 최적화(optimization)를 통해 인간의 세계 지향적 실천의 언어적 흔적을 매개변수화(parameterize)합니다. 유한한 벡터 시스템에서 지칭 프로필(referential profiles)은 분산되어야 하며, 중첩(superposed)될 수 있고, 문맥 민감적 계산을 통해 회복됩니다. 가중치(Weights), 활성화(activations), 어텐션 매개 숨겨진 상태(attention-mediated hidden states), 소프트맥스(softmax)로 학습된 대조(contrasts), 그리고 내적(inner-product) 정렬은 상속된 언어적 관계가 안정화되고 인과적으로 활성화되는 수학적 지점입니다. 엔티티와 유사한 특징(entity-like features), 지식 뉴런(knowledge neurons), 감정 관련 활성화 방향(emotion-related activation directions)을 포함한 기계론적 해석 가능성(Mechanistic interpretability) 연구 결과들은 이러한 관점에 대한 간접적인 지지를 제공합니다. 이러한 결과들이 LLM이 인간과 같은 지칭 능력을 갖추고 있음을 보여주는 것은 아닙니다. 대신 더 제한적인 논지를 뒷받침합니다: 즉, LLM은 파생적이고, 언어 매개적이며, 프로필 기반이고, 수치적으로 구조화된 형태의 지칭을 가질 수 있다는 것입니다.