중고차 판매 봇? 부분 정보 상황에서 협상 에이전트로서 LLM의 정직성과 신뢰성

본 연구에서는 구매자와 판매자가 텍스트 채널을 통해 소통하며, 서로 다른 정보 체계(완전 정보, 정보 비대칭 또는 상호 불확실성) 하에서 상호 이익이 되는 거래를 협상하려고 시도하는 시뮬레이션된 협상 시나리오에서의 에이전트들을 연구합니다. 우리는 게임 이론적 (game-theoretical) 해법과 관련하여 이들의 성능을 평가하며, 더 나아가 이들의 정직성(정보를 공개하거나 숨기려는 경향, 또는 오도하고 기만하려는 경향)과 신뢰성(상대 에이전트가 제공한 정보를 신뢰하거나 불신하려는 경향)을 조사합니다. 우리는 단순한 프롬프팅 스캐폴딩 (prompting scaffolding)을 갖춘 제로샷 (zero-shot) LLM 에이전트와 미세 조정 (fine-tuned)된 에이전트를 모두 연구하여, 재무적 이익을 극대화하도록 에이전트를 최적화하는 것이 이들을 더 강력한 협상가로 만들지만 동시에 더 부정직하고 덜 신뢰하게 만드는지 조사합니다. 연구 결과, 기성 LLM (off-the-shelf LLMs)은 모두 게임 이론적 균형 (game-theoretical equilibria)에서 상당히 벗어나 있으며, 자신의 사적 정보에 대해 거짓말을 시도하지만 정보 비대칭을 효율적으로 이용하지는 못한다는 것을 발견했습니다. 재무적 효용 (financial utility)에 대한 미세 조정은 에이전트가 더 나은 거래를 달성하는 데 더 강력하게 만들지만 동시에 더 부정직하게 만들며, 이는 특정 작업을 위해 에이전트를 최적화하는 것이 에이전트의 안전성 (safety)에 미칠 수 있는 위험을 강조합니다. 우리는 코드와 협상 시나리오 데이터셋을 공개합니다.