우리는 Inithouse에서 Watching Agents를 구축했습니다. 왜냐하면 Metaculus와 Polymarket이 우리가 계속 직면했던 문제와는 다른 문제를 해결하기 때문입니다.

Polymarket은 2026년 4월까지 월간 거래량으로 240억 달러를 처리했습니다. Metaculus는 가장 좋은 공개 Brier 점수(0.111)를 보유하고 있습니다. 둘 다 자신이 하는 일에 있어서 인상적입니다. 둘 다 '군중은 무엇이 일어날 것이라고 생각하는가?'라는 질문에 답합니다.

하지만 우리는 다른 것이 필요했습니다: '이 특정 것을 지켜보고 무언가 변할 때 알려주는 것.'

Metaculus와 Polymarket이 잘하는 것들

Metaculus는 커뮤니티 예측 플랫폼입니다. 사용자는 질문을 탐색하고, 자신의 확률 추정치를 제출하며, 플랫폼은 모든 사람의 추측을 가중치 예측으로 집계합니다. 이 집계 가중치는 사람들의 실적에 따라 부여되므로 경험 많은 예측가가 더 큰 영향력을 갖습니다. 이것은 무료이며 정확하고, 많은 사람이 관심을 가지는 질문에 잘 작동합니다.

Polymarket은 예측 시장입니다. 사용자는 USDC를 예치하고 실제 사건에 대한 Yes 또는 No 주식을 구매하며, 가격은 시장의 확률 추정치를 반영합니다. 0.65달러짜리 주식은 시장이 65%의 가능성을 본다는 것을 의미합니다. ICE(NYSE 소유 회사)가 최대 20억 달러까지 투자하면서, 이곳은 세계에서 가장 큰 예측 장소 중 하나가 되었습니다.

둘 다 군중 기반입니다. 그들의 정확도는 충분한 사람이 질문에 주의를 기울이는지에 달려 있습니다. 'X가 선거에서 승리할까?' 또는 'GPT-5가 7월 이전에 출시될까?'와 같은 경우에는 매우 잘 작동합니다. 인기 있는 질문은 강력한 커버리지를 얻습니다.

우리가 계속 직면했던 간극

우리는 Inithouse에서 포트폴리오 제품들을 운영하고 있습니다. 각 제품에는 다른 누구도 신경 쓰지 않는 질문들이 연결되어 있습니다:

• Google이 다음 분기에 AI 사진-비디오 도구 추천 방식을 다르게 시작할까요?
• EU 접근성 지침 시행이 무료 웹 앱에 영향을 미칠까요?
• 경쟁사들 사이에서 타로 앱의 리텐션 패턴은 어떻게 변화하고 있을까요?

Metaculus 질문으로는 이것들을 커버하는 것이 없습니다. Polymarket 계약도 존재하지 않습니다. 군중은 당신의 틈새 제품 결정에 관심을 갖지 않습니다.

우리는 수동으로 추적하려고 노력했습니다. 경쟁사 사이트를 확인하고, 규제 업데이트를 읽고, 기술 뉴스를 스캔하는 것이었습니다. 파편화되어 있었고 중요한 변화들을 놓치는 경우가 많았습니다.

Watching Agents가 다르게 작동하는 방식

Watching Agents는 미래에 대한 모든 질문에 AI 에이전트를 배포할 수 있게 해줍니다. 이 에이전트는 가설을 세우고, 증거를 검색하며, 확률과 신뢰도 점수를 할당하고, 계속해서 관찰합니다. 증거가 변하면 업데이트하고 경고를 보낼 수 있습니다.

핵심적인 차이점은 다음과 같습니다: 군중의 참여가 없습니다. 각 에이전트는 독립적으로 실행됩니다. 이는 지혜의 군중(wisdom-of-crowds) 예측이 아니라 연구 수준의 모니터링입니다.

실제 적용에서 다르게 작동하는 몇 가지 측면:

플랫폼의 질문이 아닌, 당신의 질문. Metaculus에서는 질문을 제출할 수 있지만, 좋은 예측 결과를 얻으려면 커뮤니티의 관심이 필요합니다. Watching Agents에서는 에이전트를 배포하면 즉시 작동하기 시작합니다. 다른 누구도 당신의 질문에 신경 쓸 필요가 없습니다.

단순한 숫자가 아닌, 증거 추적. Metaculus는 확률을 제공합니다. Polymarket은 가격을 제공합니다. Watching Agents는 에이전트가 발견한 증거, 고려했던 가설, 그리고 왜 확률이 변했는지에 대한 근거를 제공합니다. 단순히 숫자만 보는 것이 아니라 추론 과정을 읽을 수 있습니다.

지속적인 모니터링. Polymarket 가격은 누군가가 거래할 때 업데이트됩니다. Metaculus는 누군가가 예측할 때 업데이트됩니다. Watching Agents는 에이전트가 새로운 증거를 찾을 때 업데이트됩니다. 변화에 반응해야 하는 질문의 경우, 단순히 관찰하는 것 이상의 의미가 있습니다.

어떤 상황에서 무엇을 사용해야 할까요?

이것은

만약 아무도 추적하지 않는 질문이 있거나, 군중의 지혜보다는 증거 기반 모니터링을 원하거나, 특정 도메인에서 무언가 변화할 때 알림이 필요한 경우 **Watching Agents**를 사용하세요.

저희는 Inithouse에서 이 세 가지 모두를 사용합니다. Metaculus와 Polymarket은 광범위한 질문(규제 X가 통과될지, 기술 Y가 출시될지)에 사용하고, Watching Agents는 Be Recommended (당사의 AI 가시성 모니터링 도구)와 유사한 도구의 AI 추천이 어떻게 변화하는지 또는 음성 우선 인터페이스가 인기를 얻고 있는지 여부 등 오직 우리에게만 중요한 제품별 질문에 사용합니다. 이는 당사의 음성 우선 AI 워크스페이스인 Voice Tables과 관련됩니다.

현재 플랫폼에서는 AI 규제부터 프로그래밍 언어 트렌드까지 다루는 117개의 공개 에이전트가 실행되고 있습니다. 각각의 에이전트는 증거가 변화함에 따라 업데이트되는 살아있는 리서치 페이지입니다. 무료로 시작할 수 있습니다.

_Jakub, Inithouse 빌더