우리만의 AI 모델 학습하기

목차

저는 우리가 향후 6개월 동안 그동안의 작업 중 가장 뛰어난 성과를 낼 변곡점에 와 있다고 진심으로 생각합니다.

지난 1년 동안 우리는 AI 설치 마법사(AI installation wizard), PostHog AI, 그리고 MCP와 같이 PostHog에 더 많은 AI 기반 기능들을 구축하기 시작했습니다. 이 기능들은 모두 엄청난 인기를 끌고 있지만, 이는 시작에 불과합니다.

PostHog의 다음 장은 더 능동적이고 자율 주행(self-driving)이 가능한 제품을 구축하는 것입니다. 사용자를 위해 정답과 해결책을 제시하고, 이를 실행하며, 시간이 지남에 따라 개선되는 제품 말입니다.

이것이 현재 베타 버전인 PostHog Code의 비전입니다. 이를 가능하게 하고 이와 유사한 더 많은 제품을 만들기 위해, 우리는 새로운 시도를 해보고자 합니다.

우리는 PostHog의 데이터로 모델을 학습시키고 싶습니다.

여기에는 두 가지 목표가 있습니다:

• 기존 제품을 더 똑똑하고, 능동적이며, 사용자에게 유용하게 만들기
• PostHog Code와 같이 팀이 더 나은 제품을 더 빠르게 만들 수 있도록 돕는 완전히 새로운 제품 구축하기

우리가 관심을 두고 있는 첫 번째 분야는 **세션 리플레이 분석 (session replay analysis)**입니다. PostHog AI는 이미 리플레이에서 문제를 감지할 수 있지만, 비용이 많이 들고 확장성(scale)이 좋지 않습니다. 우리는 리플레이가 개별 사용자의 문제를 진단할 때만큼이나 대규모 환경에서도 강력해지기를 원하며, 리플레이를 구동하는 기초 데이터로 학습된 모델이 이를 달성하는 데 도움이 될 것이라고 생각합니다.

제가 특히 기대하고 있는 또 다른 아이디어는 **합성 사용자 테스트 (synthetic user testing)**입니다. 즉, 사용자가 혼란을 느낄 수 있는 시점이나 어떤 흐름(flow)이 깨질 수 있는지를 프로덕션에 배포하기 전에 사용자 행동에 대한 지식을 활용하여 식별하는 것입니다. 코딩 모델이 향상됨에 따라, 많은 사람들이 테스트 및 리뷰 작업량이 엄청나게 증가하는 것을 목격하고 있습니다. 우리는 이를 자동화하여 여러분이 제품에 더 집중할 수 있도록 하고 싶습니다.

그리고 만약 우리가 **사용자 행동 예측 (predicting user behavior)**을 더 잘할 수 있게 된다면, 이미 배포된 기능에 대해서도 전환율을 높이고 사용자의 좌절감을 줄일 수 있는 변경 사항을 제안할 수 있을 것입니다. 우리가 이 작업을 자동화해 드린다면, 여러분은 수동 분석에 쓰는 시간을 줄이고 그 과정에서 소모되는 토큰(tokens)도 아낄 수 있을 것입니다.

우리의 이러한 아이디어는 실험적입니다. 모델을 효과적으로 학습시키는 방법과 실제로 어떤 데이터가 유용한지를 파악하기 위해서는 반복적인 과정(iteration)이 필요할 것입니다. 하지만 지금까지 제품을 더 단순하거나 강력하게 만드는 방식으로 AI를 도입할 때마다 결과가 좋았기에, 시도해 볼 가치가 있다고 생각합니다.

우리는 사용자 관점, 특히 트레이드오프(tradeoffs, 상충 관계) 측면에서 이 문제를 고민하는 데 많은 시간을 보냈습니다.

장점은 위에서 설명한 것과 같은 종류의 개선 사항들입니다.

대부분의 도구는 여러분에게 최상의 코드를 제공하는 데 집중하지만, 우리는 여러분의 제품이 최상의 상태가 되도록 만드는 데 에너지를 집중하고 싶습니다. 이것이 우리가 PostHog Code를 제품 에디터(product editor)라고 설명하는 이유입니다.

단점은 PostHog의 데이터를 사용하여 모델을 학습시키는 과정이 포함된다는 점입니다.

대부분의 기업은 이러한 변경 사항을 기만적일 정도로 지루한 이용약관(T&Cs) 업데이트 속에 숨기겠지만, 우리는 투명성을 가치 있게 여기기에 여러분이 알아야 할 내용을 인터넷 친화적인 번호 매기기 목록으로 정리했습니다:

• EU 클라우드 인스턴스(cloud instance)의 사용자는 기본적으로 옵트아웃(opted out) 상태입니다.
• 학습을 방지하는 계약(예: BAA, MSA 또는 유사 계약)을 체결한 사용자 또한 마찬가지입니다.
• 미국 클라우드 인스턴스의 그 외 모든 사용자는 기본적으로 옵트인(opted in) 상태입니다.
• 우리는 학습에 사용하기 전에 모든 데이터를 익명화(anonymize)할 것입니다.
• 우리는 여러분의 PostHog 인스턴스에 이미 존재하는 데이터만을 사용할 것입니다.
• 우리는 모든 모델 학습을 직접 수행할 것이며, 이는 다음을 의미합니다...
• 여러분의 데이터를 제3자 모델 제공업체에 판매하거나 전송하지 않을 것입니다.
• 여러분은 PostHog의 조직 설정(org settings)을 통해 언제든지 옵트아웃(opt out)할 수 있습니다 (관리자 권한 필요).
• 학습은 6월 29일 전까지 시작되지 않으므로 결정할 시간은 충분합니다.

커뮤니케이션 측면에서 우리는 다음과 같이 진행합니다:

• 모든 고객에게 이메일을 보내며, 이메일의 목적이 무엇인지 매우 명확하게 밝힐 것입니다.
• (이메일을 읽지 않을 경우를 대비하여) 인앱 알림(in-app notifications)을 통해 모든 사용자에게 알릴 것입니다.
• 우리의 계획을 매우 공개적으로 전달할 것입니다 (이 포스트와 같이).

우리의 목표는 여러분의 데이터로 학습된 모델을 노출하거나 판매하는 것, 또는 여러분의 데이터를 수익화하는 것이 아니라, 고객을 위한 제품으로서 PostHog를 개선하는 것임을 강조하고 싶습니다.

간단히 말해, 그렇지 않으면 실제로 유용한 모델을 학습시키기 위한 충분한 데이터를 확보할 수 없기 때문입니다.

만약 옵트아웃 (opt out)을 선택하신다면, 이러한 데이터에 의존하여 구축될 예정인 새로운 기능들을 사용하실 수 없게 됩니다.

기본적으로 옵트아웃 상태인 경우(예: EU 클라우드 인스턴스를 사용하는 경우)에도, 당사와 체결한 법적 계약에서 이 옵션을 제외하지 않는 한 수동으로 옵트인 (opt in)을 선택하실 수 있습니다.

저희는 무언가를 조용히 출시하기보다 이 부분에 대해 솔직하게 밝히기로 결정했는데, 그것이 옳은 방식이라고 생각하기 때문입니다.

이 문제에 대해 논의하고 싶으시다면, james에게 (이메일 주소는 짐작하시겠지만) 연락해 주세요.

또한 저희는 AI 연구원 (AI researchers)을 채용 중이니, 저희와 함께 이 작업을 하고 싶다면 연락해 주시기 바랍니다.

PostHog는 성공적인 제품을 만들기 위한 올인원 개발자 플랫폼입니다. 저희는 제품 분석 (product analytics), 웹 분석 (web analytics), 세션 리플레이 (session replay), 에러 트래킹 (error tracking), 피처 플래그 (feature flags), 실험 (experiments), 설문 조사 (surveys), AI 관측성 (AI Observability), 로그 (logs), 워크플로우 (workflows), 엔드포인트 (endpoints), 데이터 웨어하우스 (data warehouse), CDP, 그리고 코드 디버깅을 돕고 기능을 더 빠르게 출시하며 모든 사용 및 고객 데이터를 하나의 스택에 유지할 수 있도록 돕는 AI 제품 어시스턴트를 제공합니다.