안녕하세요 HN, 저희는 Roundtable (https://roundtable.ai/)의 Mayank와 Matt입니다. 저희는 LLM (Large Language Models)을 사용하여 저렴하면서도 놀라울 정도로 유용한 설문조사 시뮬레이션을 생성합니다. 구체적으로, 저희는 표준화되고 큐레이션된 설문조사 데이터셋을 통해 LLM을 학습시킵니다. 이러한 접근 방식을 통해 저희는 본질적으로 인간의 행동과 의견에 대한 범용 모델을 구축할 수 있습니다. 저희는 이를 사용자가 결과를 쉽게 시각화하고 해석할 수 있게 해주는 멋진 UI와 결합했습니다.

설문조사는 사용자 및 시장 조사에 있어 매우 중요하지만, 설계, 실행 및 분석에 비용이 많이 들고 수개월이 소요됩니다. 응답을 시뮬레이션함으로써 저희 사용자들은 몇 초 만에 결과를 얻고 더 빠르게 의사결정을 내릴 수 있습니다. 다양한 사례는 https://roundtable.ai/showcase 에서 확인하실 수 있으며, 데모 영상은 https://www.loom.com/share/eb6fb27acebe48839dd561cf1546f131 에서 보실 수 있습니다.

저희 제품을 사용하면 질문(예: "연령이 어떻게 되십니까")과 조건(예: "Hacker News 사용자 여부")을 추가한 다음, 이것이 설문조사 결과에 어떤 영향을 미치는지 확인할 수 있습니다. 예를 들어, "전기 자전거 구매에 관심이 있습니까?"라는 설문조사는 '예'가 28%로 나타납니다 1. 하지만 대상을 Tesla 소유자로 좁히면 '예'가 52%로 급증합니다 2. 또 다른 예로, "어디에서 코딩을 배웠습니까"를 조사할 때 "연령이 어떻게 되십니까?"라는 질문은 극적인 차이를 만듭니다. "45세 이상"의 경우 답변이 55% "도서" [3]인 반면, "45세 미만"의 경우 76% "온라인" [4]입니다. 한 가지 더: "다음 중 항공사를 선택할 때 가장 중요한 요소는 무엇입니까?"라는 질문에 5%의 사람들이 "레그룸 (legroom)"이라고 답하지만 [5], 키가 6피트(약 183cm) 이상인 사람들을 조건으로 설정하면 이 수치는 20%로 급증합니다 [6].

이러한 시뮬레이션 설문조사가 매우 잘 작동할 것이라고는 생각하지 못했을 수도 있지만 (사실 저희도 그렇게 생각하지 않았습니다), 경험적으로는 기대했던 것보다 훨씬 더 잘 작동합니다. 저희는 Roundtable의 결과를 검증하기 위해 실제 환경에서 많은 설문조사를 수행해 왔습니다 (예: 연령 인구 통계와 미국 인구조사(U.S. Census) 데이터 비교). 저희는 여전히 그 이유를 파악하려고 노력 중입니다. 저희는 공개된 인터넷 데이터로 사전 학습된(pre-trained) LLM들이 특정 커뮤니티(예: Tesla 운전자, Hacker News 등)에 대한 많은 정보와 상관관계(correlations)를 내재화하고 있으며, 그들의 행동을 합리적으로 근사(approximate)할 수 있다고 믿습니다. 어쨌든, 연구자들도 저희와 동일한 현상을 목격하고 있습니다. BYU 연구팀의 훌륭한 논문 [7]은 GPT/LLM으로부터 하위 인구 집단(sub-population) 정보를 추출하는 것에 대해 다룹니다. Microsoft의 관련 논문 [8]은 GPT가 어떻게 다양한 인간 행동을 시뮬레이션할 수 있는지 보여줍니다. 이는 활발한 연구 주제이며, 저희도 비교적 빠른 시일 내에 이론적 근거를 파악할 수 있기를 희망합니다.

이 모델들은 주로 인터넷 데이터로 학습되기 때문에, 초기에는 인터넷 헤비 유저의 인구 통계(예: 고소득층, 남성)로 편향(skewed)되는 경향이 있습니다. 저희는 모델이 더 대표성 있는 미국 인구 집단을 모방할 수 있도록, GSS(General Social Survey [9] - 미국 인구 통계 설문의 표준)를 사용하여 GPT를 미세 조정(fine-tuning)함으로써 이 문제를 해결했습니다.

저희는 귀하의 설문 질문이 학습 데이터와 얼마나 유사한지를 보여줌으로써 정확도에 대한 신뢰도 지표(confidence metric)를 제공하는 투명성 기능을 구축했습니다. '결과 조사(Investigate Results)'를 클릭하면, 외삽(extrapolation) 또는 보간(interpolation)이 얼마나 일어나고 있는지 추정하는 방법의 일환으로, LLM 임베딩(embeddings) 간의 코사인 거리(cosine distance) 측면에서 가장 유사한 GSS 질문들을 보고합니다. 이것이 하위 인구 집단/조건부 질문(conditioning questions)의 정확도 문제를 완전히 해결하는 것은 아니지만(이 부분은 현재 작업 중입니다), 저희가 구축한 것을 여러분 모두와 공유할 수 있을 만큼 충분히 발전된 단계에 도달했다고 생각합니다.

저희는 Princeton University에서 인지 과학 (cognitive science)과 AI를 전공하고 박사 학위를 마치는 중입니다. 저희는 수많은 설문조사와 행동 실험 (behavioral experiments)을 수행해 왔으며, 그 과정에서 파이프라인 (pipeline)에 대해 종종 좌절감을 느꼈습니다. 저희는 학계를 떠나고자 했고, 설문조사 파이프라인을 개선하는 데 기회가 있다는 것을 발견했습니다. 사용자 및 시장 조사 (User and market research) 시장은 매우 크지만, 업계에서 사용하는 많은 도구와 방법론은 투박하고 느립니다. Mayank의 박사 과정 연구는 해석 가능한 과학적 이론 (interpretable scientific theories)을 개발하기 위해 대규모 데이터셋과 머신러닝 (ML)을 사용했으며, Matt는 협력적 집단 의사결정 (coordinated group decision-making)을 연구하기 위한 복잡한 실험 소프트웨어를 개발했습니다. 저희는 Roundtable이 저희의 관심사가 교차하는 지점에서 작동한다고 보고 있습니다.

저희는 설문조사당 비용을 청구합니다. 저희는 시장 조사 팀을 보유한 중소기업 (small and mid-market businesses)을 타겟으로 하며, 최소 구독 금액을 요구합니다. 가격 정보는 저희 홈페이지 하단에 있습니다.

저희는 아직 이 제품을 구축하는 초기 단계에 있으며, 여러분 모두가 데모를 사용해 보고 피드백을 주시면 정말 감사하겠습니다. 무엇이든 보이는 것을 알려주세요. 이것은 저희가 학계에서 민간 부문으로 진출하는 첫 번째 주요 시도이며, 여러분의 어떤 의견이라도 간절히 듣고 싶습니다!

[3] https://roundtable.ai/sandbox/d701556248385d05ce5d26ce7fc776...

[4] https://roundtable.ai/sandbox/8bd80babad042cf60d500ca28c40f7...

[5] https://roundtable.ai/sandbox/0450d499048c089894c34fba514db4...

[6] https://roundtable.ai/sandbox/eeafc6de644632af303896ec19feb6...

[7] https://arxiv.org/abs/2209.06899

[8] https://openreview.net/pdf?id=eYlLlvzngu

[9] https://www.norc.org/research/projects/gss.html