JSON 대 Markdown SERP 비교: 토큰 측정 결과
요약
AI 에이전트가 검색 결과 페이지(SERP)를 처리할 때, 응답 형식에 따라 모델 컨텍스트 사용량과 비용이 크게 달라집니다. 본 글은 JSON, Markdown, 간결한 JSON 등 세 가지 형식의 토큰 크기를 비교하며, 효율적인 데이터 처리를 위한 방법을 제시합니다.
핵심 포인트
- Markdown 형식이 SERP를 읽을 때 가장 적은 토큰을 사용합니다.
- 에이전트가 결과를 직접 읽는 경우: Markdown 추천
- 코드가 후처리하는 경우: 간결한 JSON 또는 필드 투영 추천
- 필요한 필드만 요청(Field Projection)하여 비용과 토큰 사용량을 최소화할 수 있습니다.
에이전트가 검색 도구를 호출할 때, 전체 응답 내용이 모델의 컨텍스트에 들어갑니다. 사용자는 모든 토큰에 대해 비용을 지불하며, 모델은 중요한 세 개의 링크를 찾기 위해 그 모든 내용을 읽어야 합니다. 따라서 SERP(검색 결과 페이지) 응답의 형식은 사소한 디테일이 아니라 비용과 품질을 결정하는 핵심 요소입니다.
저희는 하나의 Google 검색 결과를 가져와서 세 가지 방식으로 렌더링했습니다.
이 수치들은 단일 샘플에 대한 추정치이며, 벤치마크가 아닙니다. 이 샘플은 축소된 결과 페이지(답변 상자, 유기적 결과 3개, 'People Also Ask' 질문 2개, 관련 검색 3개)입니다. 토큰은 토큰당 약 4문자로 추정되었습니다. 실제 페이지는 더 크고 실제 토크나이저는 다릅니다. 중요한 것은 비율입니다.
결과
| 형식 | 예상 토큰 수 | vs pretty JSON |
|---|---|---|
| JSON, pretty-printed | 668 | baseline |
| ... | ||
| On this sample, Markdown is about 64% smaller than pretty JSON, and compact JSON about 63%. That is in line with the 60-80% reduction we see on full pages. For scale: a full, unfiltered Google SERP as JSON can reach roughly 24,700 tokens once every widget, sitelink and thumbnail is included. At that size the format choice is the difference between a cheap tool call and an expensive one. |
JSON에서 토큰이 사용되는 방식
JSON SERP의 대부분은 내용(content)보다는 구조(structure)로 이루어져 있습니다: 반복되는 키("position", `
더 나아가기: 필드 투영(project the fields)
에이전트가 제목, 링크 및 지식 그래프만 필요하다면, 해당 항목들만 요청하세요:
{ "q": "best espresso machine 2026", "fields": "results.title,results.link,knowledge_graph" }
각 호출별 예상 토큰 수를 기록하여(저희는 이를 X-Tokens-Estimate 응답 헤더로 반환합니다) 각 도구 호출이 실제로 얼마의 비용이 드는지 확인할 수 있습니다.
저희가 추천하는 방식
- 에이전트가 결과를 직접 읽을 때: Markdown 형식.
- 코드가 결과를 후처리할 때: 간결한 JSON(compact JSON) 또는 필드 투영(field projection).
- 결과를 저장하거나 모든 필드가 필요할 때: 전체 JSON(full JSON).
저희는 AI 에이전트를 위한 Google SERP API인 SerpKite에 이 기능을 구현했습니다. 여기서는 세 가지 형식 모두 비용이 동일합니다(페이지당 1 크레딧). SERP 토큰 카운터에서 직접 쿼리를 테스트해 볼 수 있으며, 매개변수는 문서(docs)에 있습니다. 어떤 API를 사용하든, 형식을 선택하기 전에 자체 페이지로 측정해 보세요.
원래 게시일: https://serpkite.com/blog/json-vs-markdown-serp-tokens
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기