서론

"AI에게 분석을 맡기고 싶지만, 어떤 AI가 가장 쓸만한지 모르겠다" —— 이런 의문을 가진 EC 사업자나 담당자분들이 많으실 것입니다. ChatGPT, Claude, Gemini는 모두 "데이터 분석이 가능하다"라고 말하지만, 실제로 동일한 데이터를 주었을 때 돌아오는 답변의 질에는 큰 차이가 있습니다.

본 기사에서는 GA4의 BigQuery 에스포트(Export) 데이터를 소재로 삼아, 3가지 AI에 동일한 질문과 동일한 SQL 쿼리를 전달하여 각각의 답변 정확도, 설명의 이해하기 쉬움, 실무에서의 사용 편의성을 비교했습니다. AI 도구 선택의 참고 자료가 되기를 바랍니다.

참고로, 검증에 사용한 데이터는 GA4의 BigQuery 에스포트 테이블(events_*)입니다. EC 사이트의 구매 데이터나 유입원 데이터를 사용하여, 비엔지니어(Non-engineer) 분들도 이해하기 쉬운 관점에서 평가하고 있습니다.

검증 방법과 평가 기준

이번 비교에서는 다음과 같은 3가지 관점에서 AI를 평가했습니다.

• SQL의 정확성: GA4 BigQuery의 독자적인 사양(UNNEST 구문 등)에 대응할 수 있는가
• 설명의 이해하기 쉬움: 비엔지니어 담당자도 이해할 수 있는 일본어(한국어)로 답변하는가
• 실무 제안력: 숫자 이면에 있는 과제나 개선책까지 언급하는가

동일한 프롬프트(Prompt)로서 다음과 같은 의뢰를 각 AI에 보냈습니다.

"GA4의 BigQuery 에스포트 데이터로, 유입원별 세션 수와 구매율을 집계하는 SQL을 작성해 주세요. 또한, 결과로부터 읽어낼 수 있는 과제를 알려주세요."

ChatGPT의 답변 경향: 범용성은 높지만 GA4 사양에 주의 필요

ChatGPT(GPT-4o)는 전반적인 설명력이 높으며, 초보자도 이해하기 쉬운 친절한 문장으로 답변해 줍니다. 반면, GA4 BigQuery의 독자적인 사양에 대한 대응에는 약점이 보였습니다.

예를 들어, ga_session_id를 event_params에서 UNNEST하여 취득하는 방식에는 주의가 필요합니다. 또한, 유입원을 collected_traffic_source에서 참조하는 점도 명시적으로 지시하지 않으면 일반적인 SQL을 반환해 버리는 경우가 있었습니다.

다음은 올바른 GA4 BigQuery용 SQL 예시입니다(유입원별 세션 수 집계).

SELECT
collected_traffic_source.manual_medium AS medium,
collected_traffic_source.manual_source AS source,
...

ChatGPT에 대한 지시문에는 GA4 고유의 사양을 명시할 필요가 있습니다. "UNNEST 구문을 사용할 것", "유입원은 collected_traffic_source를 사용할 것"이라고 지정하자 정확한 SQL을 출력할 수 있게 되었습니다. 프롬프트에 따라 품질이 크게 변한다는 점은 사용하는 측의 스킬이 요구됨을 의미합니다.

Claude의 답변 경향: 사양 이해와 설명의 깊이가 돋보임

Claude(Claude 3.5 Sonnet 이후)는 GA4 BigQuery의 사양을 미리 이해하고 있는 경우가 많아, UNNEST 구문이나 collected_traffic_source를 자연스럽게 사용한 SQL을 반환해 줍니다. 지시문이 다소 모호하더라도 GA4의 문맥을 읽어내어 적절히 보완해 준다는 인상입니다.

또한, 수치의 해석과 과제 제안이 구체적이라는 점도 특징입니다. 예를 들어 "오가닉 검색(Organic Search)의 세션이 많은데 구매율이 낮은 경우, 랜딩 페이지의 CTA나 상품 페이지의 구성을 재검토하는 것이 고려될 수 있습니다"와 같이 다음 액션까지 언급해 줍니다.

구매 이벤트를 조합한 구매율 집계 예시는 다음과 같습니다.

WITH session_base AS (
SELECT
collected_traffic_source.manual_medium AS medium,
...

이 쿼리를 Claude에게 전달했을 때, "이메일 마케팅을 경유한 세션은 구매율이 높은 경향이 있습니다. 리타겟팅(Retargeting)이나 회원 대상 뉴스레터 강화를 검토해 보는 것이 유효할 수 있습니다"와 같이 실무로 이어지는 통찰(Insight)을 반환해 주었습니다.

Gemini의 답변 경향: Google 서비스와의 친화성이 강점

Gemini(Gemini 1.5 Pro 이후)는 Google 제품인 GA4나 BigQuery와의 친화성이 높아, 테이블 스키마(Schema)나 사양을 정확하게 파악한 답변을 기대할 수 있습니다. 특히 Looker Studio나 Google 스프레드시트와의 연계를 전제로 한 제안에 능숙합니다.

반면, 일본어 설명의 상세함은 Claude에 비해 다소 간결하다는 인상을 받았습니다. 분석 결과의 해석보다는 쿼리 생성이나 절차 안내에 강점이 있는 인상입니다.

또한, Google AI Studio나 Vertex AI 상에서 BigQuery의 데이터에 직접 액세스할 수 있는 기능도 갖춰지고 있습니다. GCP를 중심으로 데이터 기반(Data Infrastructure)을 구축하고 있는 분들에게는, Gemini를 축으로 한 워크플로우가 향후 더욱 사용하기 편리해질 것입니다.

3 AI 비교 요약표

어떤 AI가 '우수하다'고 단정 지어 말할 수는 없습니다. 목적과 사용 방법에 따라 최적의 도구는 달라집니다.

요약 및 다음 액션

이번 비교를 통해 알 수 있는 점은, "AI에게 모든 것을 맡기는 것이 아니라, AI를 올바르게 사용하는 측의 설계가 중요하다"는 것입니다.

ChatGPT: 프롬프트 설계에 익숙하거나, 범용적인 데이터 분석 및 문장 생성과 조합하고 싶은 분에게 적합합니다 -
Claude: GA4나 BigQuery를 사용한 데이터 분석에서, 비엔지니어라도 이해할 수 있는 설명이나 개선 제안을 원하는 분에게 추천합니다 -
Gemini: GCP·Looker Studio와의 연계를 중시하며, Google의 생태계(Ecosystem) 내에서 완결 짓고 싶은 분에게 적합합니다

우선 자사의 GA4 데이터를 BigQuery로 내보낸(Export) 후, 위의 SQL을 시도해 보세요. "어떤 유입원으로부터의 방문자가 구매로 이어지고 있는가"를 파악하는 것만으로도, 광고 예산 배분이나 콘텐츠 전략의 판단 근거가 크게 달라집니다.

분석의 입구로서 AI는 매우 유효한 파트너입니다. 꼭 실제로 접해보면서 자사에 맞는 도구를 찾으시길 바랍니다.

코코나라(coconala)를 통한 의뢰는 이쪽으로 → GA4×BigQuery 기반 구축 서비스

Discussion