Villagers x LangSmith: LangSmith를 활용한 멀티 에이전트 (Multi-agent) 사회적 네트워크 시뮬레이션

*편집자 주: 이 포스트는 Villagers 팀의 Kevin Hu, Tae Hyoung Jo, John Kim, Tejal Patwardhan과 협력하여 작성되었습니다. Villagers는 최근 Anthropic 해커톤에서 2위를 차지했습니다. 우리는 수많은 에이전트를 병렬로 실행하는 멀티 에이전트 (Multi-agent) 사회적 네트워크 시뮬레이션을 통해 복잡한 프롬프트 엔지니어링 (Prompt Engineering)을 보여준 이 프로젝트를 정말 좋아했습니다. 우리는 LangSmith가 이 복잡한 유스케이스 (Use-case)를 위해 팀이 트레이스 (Traces)를 자동화하고, 프롬프트를 빠르게 반복하며, 효율적으로 디버깅 (Debug)하는 데 어떻게 도움이 될 수 있는지 확인하게 되어 매우 기뻤습니다! *

우리는 LangSmith를 사용하여 시뮬레이션된 멀티 에이전트 (Multi-agent) 사회적 네트워크의 개념 증명 (Proof-of-concept)을 구축한 경험에 대해 작성하게 되어 기쁩니다. 사회적 네트워크에서 언어 기반의 인간 상호작용을 시뮬레이션하는 것은 경제학, 정치학, 사회학, 비즈니스 및 정책 응용 분야 전반에 걸쳐 잠재력을 보여주었습니다 (예: [1], [2]). 우리는 LLM (Large Language Models)이 어떻게 현실적인 멀티 에이전트 (Multi-agent) 시뮬레이션을 생성하는 데 사용될 수 있는지 보여주기 위해 실제 사용자 페르소나 (Persona)를 가진 텍스트 기반 온라인 커뮤니티 (Twitter/X)의 사례를 사용합니다.

유용한 시뮬레이션을 구축하려면 이상적으로는 과거 행동 이력을 기반으로 실제 사용자가 할 법한 행동을 모방해야 합니다. 우리는 트윗 (Tweet), 리트윗 (Retweet), 인용 트윗 (Quote tweet), 댓글 (Comment), 좋아요 (Like) 이력을 기반으로 온라인에서 상호작용하는 실제 Twitter 사용자를 시뮬레이션하는 에이전트 (Agent)를 구축했습니다. 각 사용자는 자신의 과거 이력을 기반으로 한 고유한 프롬프트 (Prompt)를 가진 에이전트 (Agent)입니다. 그런 다음 우리는 브랜드의 다양한 광고 캠페인, 후보자의 정치적 발언, 코미디언의 사회적 논평에 대한 커뮤니티의 반응을 테스트했습니다. 이는 온라인 사회적 네트워크에 대한 참여도, 반응 및 행동 변화를 예측하기 위한 새로운 시뮬레이션 플랫폼의 개념 증명 (Proof of concept) 역할을 했습니다.

우리가 직면한 주요 기술적 장애물 중 하나는 한 번에 상호작용하는 에이전트 (Agent)의 수를 고려할 때 디버깅 (Debugging)과 프롬프트 엔지니어링 (Prompt engineering)을 수행하는 것이었습니다. 우리는 자동 트레이스 (Automatic traces)를 생성하고 프롬프트 (Prompt)를 효과적으로 반복할 수 있게 해줌으로써 멀티 에이전트 (Multi-agent) 네트워크의 기반을 구축하는 데 도움을 준 LangSmith에 매우 고무되었습니다.

LangSmith를 통해 우리는 개발 시간을 크게 단축할 수 있었으며, 우리가 작성한 프롬프트 (Prompts)의 품질에 대해 더 큰 확신을 가질 수 있었습니다. 우리는 수많은 에이전트 (Agents)가 병렬로 실행되는 제품을 개발함에 있어, LangSmith가 가장 사용하기 쉬운 LLMops 도구라는 것을 확인했습니다.