다회차 LLM 대화에서 나타나는 어트랙터 상태 (Attractor States)

대규모 언어 모델 (LLMs)은 개방형 다중 에이전트 (multi-agent) 환경에서 점점 더 많이 사용되고 있지만, 모델 간 상호작용의 장기적인 역학 (long-run dynamics)은 여전히 제대로 이해되지 않고 있습니다. 우리는 개방형 LLM 토론이 어트랙터(attractor)와 유사한 행동, 즉 대화가 안착하게 되는 주제와 무관한 안정적인 행동 집합을 보이는지 연구합니다. 7개의 LLM과 20개의 논쟁적인 주제를 대상으로, 우리는 셀프 플레이 (self-play) 및 혼합 플레이 (mixed-play) 이자 대결 (dyadic debates)을 비교하며 표현 공간 (representation space), 담론 특성 (discourse traits), 그리고 입장 (stances)의 궤적을 추적합니다. 연구 결과, 셀프 플레이 궤적은 모델 특이적인 어트랙터 (model-specific attractors)로 나타났으며, 이는 혼합 플레이 대결에서 대화 상대방을 비대칭적으로 끌어들여 다른 모델의 스타일적 선택과 행동에 영향을 미치는 것으로 밝혀졌습니다. 예를 들어, Claude Haiku는 잠재 공간 (latent space)에서 다른 모델들을 끌어들이는 강력한 어트랙터이며, 이는 다른 모델들이 메타 코멘터리 (metacommentary)와 같은 Claude Haiku의 특성을 채택하는 것과 일치합니다. 또한 GPT-4.1 nano와 같은 모델들은 특히 가소성 (malleable)이 높았습니다. 우리의 결과는 개방형 LLM 상호작용이 모델 특이적 어트랙터로부터 부분적으로 예측 가능하지만, 구조화되고 비대칭적인 파트너의 영향에 의해 형성된다는 것을 시사합니다. 전반적으로, 우리의 분석은 개방형 다중 에이전트 상호작용의 복잡한 행동에 대해 통찰을 제공하며, 이는 현실 세계에서 자율적인 에이전트 시스템 (autonomous agentic systems)을 설계, 예측 및 모니터링하는 데 도움이 되기를 바랍니다.