7월 21일, Hacker News에서 'Advertise in ChatGPT' 출시 논의는 203 포인트와 208개의 댓글을 기록했습니다. 기술 커뮤니티에 있어 이는 주목할 만한 신호입니다. 비즈니스용 AI를 개발하는 팀에게 이는 단순하지만 비용이 많이 드는 실수, 즉 채팅창에서 브랜드를 발견하고 이를 "AI가 우리를 추천한다"라는 하나의 보고 라인으로 뭉뚱그려 기록하는 실수를 범하지 말아야 할 계기이기도 합니다.

하나의 인터페이스 내에서 실제로 두 가지 서로 다른 결과가 발생할 수 있습니다. 첫 번째는 사용자의 요청에 대한 어시스턴트(Assistant)의 답변입니다. 두 번째는 대화 옆에 배치되는 유료 광고(Paid placement)입니다. 이들은 서로 이웃처럼 보이지만, 공통된 메커니즘이나 동일한 가용성, 또는 단일 성공 지표를 공유하지 않습니다.

OpenAI의 현재 설명에 따르면, 광고는 Free 및 Go 사용자에게 표시될 수 있는 반면, Plus, Pro, Business, Enterprise 및 Edu 버전에는 표시되지 않습니다. 또한 회사는 광고주가 모델의 답변을 형성, 순위 지정 또는 변경할 수 없으며, 유료 배치(Paid placement)가 보증(Endorsement)을 의미하지 않는다고 명시하고 있습니다. 즉, 광고의 존재가 어시스턴트가 해당 회사를 추천했다는 것을 증명하지 않으며, 유기적인 언급(Organic mention)이 광고 노출을 증명하는 것도 아닙니다.

이는 용어에 대한 까다로운 태도가 아닙니다. 만약 이 두 실체를 혼동한다면, 마케팅 팀은 답변에 대한 영향력을 구매하고 있다고 판단할 수 있습니다. 반면 제품 팀은 단 한 번의 유기적 언급을 작동하는 광고 채널로 오해할 수 있습니다.

하나의 멋진 지표 대신 두 개의 루프

하나의 대시보드를 운영하는 것보다 두 개의 로그(Log)를 관리하는 것이 더 유익합니다.

**답변 로그(Response log)**는 동일하고 중립적인 시나리오에서 어시스턴트의 답변에 회사나 카테고리가 나타나는지에 대한 질문에 답합니다. 여기에는 다음 사항을 기록합니다:

• 확인 날짜
• 국가 및 플랜
• 작업(Task)의 정확한 문구
• 실제로 보이는 답변

이 로그의 목적은 "광고를 유도하는 것"이 아닙니다. 모델이 사용자에게 명확한 요청에 어떻게 응답하는지라는 별도의 디스커버리(Discovery) 신호를 관찰하는 것입니다.

**유료 배치 로그(Paid placement log)**는 다른 질문에 답합니다: 광고 블록이 보였는가, 그리고 유료 경로(Paid path)를 측정하기 위해 무엇을 사용할 수 있는가? 여기에는 동일한 관찰 조건과 더불어 노출 사실 자체 및 유료 채널에서 사용 가능한 지표들을 저장합니다.

이 로그들은 서로 다른 측정 단위를 가집니다. 첫 번째는 주어진 시나리오에서의 어시스턴트 (assistant) 응답이며, 두 번째는 노출 (impression) 및 배치 측정입니다. 이들을 하나의 전환 지표 (conversion metric)로 합쳐서는 안 됩니다. 동일한 화면에 나타났다고 해서 브랜드가 나타나게 된 원인이 동일한 것은 아니기 때문입니다.

Два раздельных журнала для ответа ассистента и платного размещения

초기 논리가 무너지는 지점

가장 유혹적인 입장은 합리적으로 들립니다. 사용자가 ChatGPT에서 브랜드를 보았다면, 비즈니스가 접점을 얻은 것이고, 따라서 전체 경험을 통째로 평가해야 한다는 것입니다.

사용자 경험 (user impression) 차원에서는 이것이 맞습니다. 하지만 채널 결정 차원에서는 충분하지 않습니다.

광고 노출은 노출 조건과 유료 경로 (paid path)의 가용성에 따라 달라집니다. 어시스턴트의 응답은 다른 루프 (loop) 내에 존재합니다. OpenAI의 설명에 따르면, 광고주는 그 내용과 랭킹 (ranking)을 제어할 수 없습니다. 만약 하나의 통합 보고서가 "가시성 (visibility)"의 증가를 보여준다면, 그것이 정확히 무엇이 변했는지는 말해주지 않습니다. 모델의 응답인지, 광고의 전달인지, 아니면 단순히 관찰 대상의 구성이 변한 것인지는 알 수 없습니다.

바로 이 지점에서 출시라는 사실이 결론을 바꿉니다. Hacker News의 208개 댓글은 새로운 채널에 대한 기술 커뮤니티의 관심을 보여줍니다. 하지만 이것은 벤치마크 (benchmark)도 아니고, 모든 국가에서의 가용성을 증명하는 것도 아니며, 특정 비즈니스를 위한 결과물도 아닙니다. 출시 자체에 대한 관심을 효과성의 증거로 변질시켜서는 안 됩니다.

재현 가능한 최소한의 테스트

대규모 캠페인이나 스크린샷 모음이 아니라, 비교 가능한 출시 (launches)부터 시작하십시오.

1. 구매자의 일반적인 과업을 반영하는 중립적인 시나리오를 하나 선택하십시오.
2. 광고를 유도하려는 시도 없이 해당 시나리오를 반복하고, 그 답변을 첫 번째 장부 (first ledger)에 기록하십시오.
3. 눈에 보이는 유료 배치 (paid placement)와 사용 가능한 측정 지표를 별도로 두 번째 장부 (second ledger)에 기록하십시오.
4. 두 기록 모두에 날짜, 국가 또는 플랜 (plan), 문구 (wording), 그리고 관찰된 결과를 유지하십시오.
5. 광고를 테스트하기 위해 민감한 질문 (sensitive queries)을 사용하지 마십시오.
6. 몇 번의 비교 가능한 관찰이 이루어진 후에야 유료 경로 (paid path)의 비용과 비즈니스 결과 (business outcome)를 비교하십시오.

이 방법이 브랜드가 답변에 나타나거나 광고가 반드시 표시될 것이라고 보장하지는 않습니다. 하지만 이 테스트는 정말 중요한 질문, 즉 당신이 관찰하고 있는 것이 두 경로 중 어느 쪽인지, 그리고 어떤 데이터를 바탕으로 의사결정을 내릴 준비가 되었는지에 대해 답해줍니다.

다양한 모델에 대해 중립적인 테스트 질문을 정기적으로 비교하려면 provod.ai에서 통합 장부를 운영할 수 있습니다. 이때 유료 배치 (paid placement)는 독립적인 채널이자 독립적인 지표로 남습니다.

결과를 통합해서는 안 되는 경우

다음과 같은 경우에는 장부를 통합하지 마십시오:

• 국가, 플랜 (plan) 또는 질문의 문구 (wording)가 변경된 경우
• 반복 가능한 관찰 대신 단일 스크린샷만 있는 경우
• 특정 요소가 어시스턴트의 답변인지 아니면 유료 배치 (paid placement)인지 알 수 없는 경우
• 비즈니스 효과를 논의 중이지만 아직 비교 가능한 출시 (launches)가 없는 경우
• 예산 결정을 내려야 하는데 광고 측정치와 디스커버리 신호 (discovery-signal)가 섞여 있는 경우

이에 대한 강력한 반론은 다음과 같습니다: 두 개의 장부를 사용하는 것은 보고를 복잡하게 만들고 사용자 경로의 전체적인 모습을 가릴 수 있다는 점입니다. 하지만 하나의 지표가 서로 다른 원인들을 하나로 묶어버릴 때는 이러한 복잡성이 정당화됩니다. 우선 정확히 무엇이 일어났는지를 먼저 확립해야 합니다. 그 이후에야 이러한 결과들이 더 넓은 사용자 경로에서 어떻게 연관되는지를 논의할 수 있습니다.

Два маршрута измерения AI-discovery

provod.ai — 제품을 다시 작성하지 않고도 AI 스택을 업데이트하세요

수요가 높은 모델이 등장하면 이미 익숙한 경로를 통해 연결하세요: API, 키, 잔액 및 팀 도구는 그대로 유지되며, 현재 사용 가능 여부는 카탈로그에서 확인할 수 있습니다.

하나의 카탈로그에서 텍스트 및 미디어용 최신 모델을 확인하세요: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, xAI의 Grok, DeepSeek, Qwen, GLM, Kimi 및 MiniMax; 이미지용으로는 Nano Banana 2 Pro 및 GPT Image; 비디오용으로는 Seedance, Kling, Veo 및 Google Omni의 최신 버전이 제공됩니다. 또한 추론 (reasoning), 검색, 문서, 임베딩 (embeddings), 음악 및 오디오를 위한 모델도 사용할 수 있습니다.

새로운 기능에 대한 플랫폼의 추가 마진은 없습니다: 새로운 모델의 공식 요금이 provod.ai의 추가 할증 없이 1:1로 적용됩니다.

새로운 모델을 더 빠르게 연결하세요: 등록 양식 · 모델 가격 · 152-FZ에 따른 데이터 보호 · API 및 통합

두 개의 분리된 로그 때문에 전체 그림의 일부를 놓치는 것이 더 비쌉니까, 아니면 어시스턴트의 답변과 유료 광고 배치를 혼동하는 단일 지표를 바탕으로 예산 결정을 내리는 것이 더 비쌉니까?