LLM에 인간과 유사한 속성이 있다면, Age of Empires II에도 그러하다

대규모 언어 모델 (LLMs) 및 LLM 기반의 에이전트 워크플로우 (agentic workflows)에 대한 많은 연구가 수행되어 왔습니다. 그러나 이 분야의 많은 연구는 이들에게 발현된다고 기술하거나, 귀속시키거나, 혹은 일반화된 의인화된 속성 (anthropomorphic attributes) (예: 도덕성 또는 자연어 이해)을 가정합니다. 우리의 목표는 이러한 속성의 존재 여부에 대해 찬성하거나 반대하려는 것이 아니라, 이러한 결론들이 틀릴 수 있음을 지적하는 것입니다. 이를 위해 우리는 비디오 게임인 Age of Empires II 상에서 간단한 신경망 (neural network)을 구축하고 훈련하며, LEGO나 Greater Boston Area와 같이 충분히 강력한 기질 (substrate) 내의 어떤 엔티티 (entity)라도 이러한 속성을 나타낼 수 있음을 주목합니다. 따라서, LLM의 소위 의인화된 속성들은 경험적으로 유일하지 않습니다 (empirically non-unique). 일부 특성 (예: 프롬프트에 대한 응답)은 일정하게 유지될 수 있지만, 인지된 행동에 대한 해석과 같은 다른 특성들은 기질에 따라 변할 수 있기 때문입니다. 따라서, 모든 경험적 근거를 둔 논의에는 명시적인 측정 기준이 필요합니다. 그렇지 않으면 해석은 표현 (representation)에 맡겨지게 됩니다. 우리는 또한 이러한 속성이 기질과 무관하게 시스템에 존재하는지 여부를 일반화된 방식으로 가정하는 것이, 해당 주제에 대한 실험자의 관점과 관계없이 순환적이거나 정보가 없는 결론으로 이어진다는 것을 보여줍니다. 마지막으로, 우리는 실험을 설정할 때 의인화된 속성을 가정하는 대신 LLM의 비유일성 (non-uniqueness)을 가정하는 '귀무 (null)' 가정을 제안하며, 이에 대한 예시를 함께 제시합니다. 우리는 또한 우리 연구에 대한 잠재적인 반론을 논의하고, 해당 분야를 간략하게 조사하며, extit{Age of Empires II}가 기능적으로 튜링 완전 (Turing-complete)함을 증명합니다.