AI 도구 순위에서 누락된 항목은 남겨진 결과물(Artifact)이다
요약
AI 도구의 성능 순위보다 중요한 것은 작업 후 남겨지는 결과물(Artifact)의 품질입니다. 단순한 대화형 응답을 넘어 편집 가능하고, 검증 가능하며, 워크플로우에 즉시 통합될 수 있는 결과물의 가치를 강조합니다.
핵심 포인트
- AI 도구 평가 시 단순 점수보다 결과물(Artifact)의 형태가 중요함
- 결과물은 편집 가능성, 출처 명시, 실행 가능성을 갖춰야 함
- Gemini, NotebookLM, Cursor 등은 각기 다른 유용한 결과물을 생성함
- 워크플로우의 다음 단계로 이어질 수 있는 내구성 있는 결과물이 핵심임
오늘 아침 热门 AI 2025에 대한 Juejin의 결과들을 읽다가 깊이 빠져들게 되었는데, Google의 학습 요약(learning recap)을 보며 제가 읽은 거의 모든 AI 도구 정리글에서 누락된 한 가지 항목을 발견했습니다. 해당 포스트는 Gemini 3가 PDF를 대화형 튜토리얼로 변환하는 것부터, 코드를 건드리지 않고 진행되는 가이드형 디버깅(debugging), Google Sheets에 분류 내용을 작성하는 AI 기능, 그리고 Google 검색 내에서 생성된 주택 담보 대출 계산기에 이르기까지 다양한 내용을 다룹니다. 함께 소개된 NotebookLM 관련 내용은 인용된 답변, 학습 가이드, 퀴즈, 팟캐스트, 레시피 북, 그리고 내레이션이 포함된 비디오를 다룹니다. 이어지는 12월 코딩 순위에서는 CodeBuddy 9.6점, Sourcegraph Cody 8.2점, Replit Ghostwriter 8.0점, Codeium 7.8점을 기록했습니다. 이 숫자들은 제품들을 비교하지만, 세션이 끝났을 때 내 손에 무엇이라는 결과물(artifact)이 남게 될지는 말해주지 않습니다. 수년간 소프트웨어를 출시해 온 입장에서, 저는 이 누락된 결과물(artifact) 항목이 또 다른 소수점 점수보다 더 중요하다고 생각합니다.
출력물들을 나란히 놓고 비교하면 그 차이는 더욱 극명해집니다. Google 검색 내의 Gemini는 현재 질문을 위해 존재하는 일회성 대화형 계산기를 생성할 수 있습니다. Google Sheets 내의 Gemini는 동료가 검토하고 편집할 수 있는 라벨이 지정된 셀들을 남길 수 있습니다. NotebookLM은 PDF의 정확한 단락으로 바로 이동할 수 있는 인용이 포함된 답변을 제공하거나, 동일한 소스를 오디오 개요 및 비디오로 변환할 수 있습니다. Cursor와 Claude Code는 저장소 차이점(repository diff), 테스트, 터미널 출력, 그리고 커밋 후보(commit candidate)를 남길 수 있습니다. v0는 이미 Vercel을 향해 설정된 React 컴포넌트를 남길 수 있는 반면, Replit은 실행 중인 호스팅된 프로토타입(prototype)을 남길 수 있습니다. 공정하게 말하자면, Google, Anthropic, OpenAI, Vercel이 계속해서 경계를 옮기고 있기 때문에 일부 기능의 경계는 어느 정도 감안해야 하겠지만, 이러한 출력물들은 사소한 UI 차이가 아닙니다. 인용된 답변, 수정 가능한 스프레드시트, 일회성 마이크로 앱(micro-app), 그리고 검토 가능한 Git diff는 완전히 다른 수명과 검증 비용을 가집니다.
이는 시장이 제품 순위(product rankings)에서 표면 순위(surface rankings)로 이동했다는 말보다 한 단계 더 깊은 층위의 이야기입니다. 표면(surface)조차도 워크플로우(workflow) 상의 다음 사람에게 적절한 결과물(artifact)을 생성해낼 수 있을 때에만 유용합니다. 만약 작업에 다른 엔지니어가 감사(audit)할 수 있는 출처 제한적 메모(source-bounded memo)가 필요하다면, 데모에서 Gemini 3가 ChatGPT보다 더 똑똑해 보이는지는 저에게 중요하지 않습니다. 만약 작업에 작은 diff, 통과하는 테스트, 그리고 풀 리퀘스트(pull request) 검토자를 위한 깔끔한 설명이 필요하다면, Cursor가 Claude Code보다 더 빠르게 느껴지는지는 중요하지 않습니다. 만약 최종 결과물이 인용(citation)과 연결된 주장들의 스프레드시트라면, NotebookLM이 가장 자연스러운 팟캐스트를 만들 수 있는지 여부는 중요하지 않습니다. 솔직히 말해서, 자율 에이전트(autonomous agent) 능력과 멀티모달리티(multimodality)에 각각의 행을 할당하면서도, 출력물이 내구성이 있는지(durable), 편집 가능한지(editable), 출처를 밝힐 수 있는지(attributable), 실행 가능한지(executable), 혹은 검토하기 쉬운지(easy to review)를 묻지 않는 5축 스코어카드(five-axis scorecard)에 대해서는 다소 회의적입니다. 이러한 속성들이야말로 다음 한 시간이 생산적일지, 아니면 하나의 AI 표면을 다른 표면으로 번역하는 데 시간을 허비하게 될지를 결정합니다.
저에게 있어 실질적인 변화는 간단합니다. 제품을 선택하기 전에, 제가 필요한 결과물(artifact)을 적어두는 것입니다. 익숙하지 않은 코드의 경우, 저는 Claude Code나 Cursor가 자신감 넘치는 채팅 기록(chat transcript) 대신 diff, 테스트, 그리고 터미널 증거를 남겨주기를 원합니다. 출처가 중요한 연구의 경우, 저는 NotebookLM이 제가 출처(provenance)를 다시 재구성해야 하는 다듬어진 요약본 대신 인용(citation)을 남겨주기를 원합니다. UI 탐색의 경우, 저는 v0가 스크린샷이 아닌 실제 저장소(repository)로 옮길 수 있는 컴포넌트(component)를 남겨주기를 원합니다. 대량의 피드백 분류(triage)의 경우, Google Sheets 내의 Gemini 기능이 ChatGPT의 산문(prose)보다 더 유용한데, 그 결과가 팀이 이미 필터링하고 수정하는 위치에 바로 도달하기 때문입니다. 결과물이 VS Code 내부의 점진적인 코드이고 검토 루프(review loop)가 이미 GitHub에 존재한다면, GitHub Copilot은 여전히 그 자리를 지킵니다. 제 직감으로는 이러한 프레임워크가 왜 광범위한 순위들이 점점 더 틀린 것처럼 느껴지는지를 설명해 줍니다. CodeBuddy, Gemini, NotebookLM, v0, 그리고 Claude Code는 단순히 능력(capability)으로 경쟁하는 것이 아니라, 서로 다른 인계 대상(handoff objects)을 제조하고 있는 것입니다.
저는 3개월 후에 다시 평가할 것입니다. 현재로서는 저장소(repository) 작업에는 주로 Cursor와 Claude Code를, 개방형 탐색(open-ended exploration)에는 ChatGPT를, 출처 제한적 읽기(source-bounded reading)에는 NotebookLM을, 그리고 결과물이 Google Search나 Google Sheets 내부에 속할 때는 Gemini를 사용하고 있습니다. 차이점은 제가 더 이상 도구 비교의 승자를 기록할 때, 그 결과물(artifact), 소유자, 수명, 그리고 그것이 어떻게 검증될 것인지를 함께 기록하지 않는 일은 없다는 것입니다. 6개월 정도 지나면, 더 나은 AI 요약(roundups)들은 가격과 에이전트 능력(agent capability) 옆에 결과물(artifact) 열을 추가할 것이라고 예상합니다. 여기에는 인용된 답변(cited answer), 편집 가능한 표(editable table), 검토 가능한 차이점(reviewable diff), 배포된 컴포넌트(deployed component), 그리고 일회성 대화형 페이지(disposable interactive page)와 같은 항목들이 포함될 것입니다. 그런 일이 일어나기 전까지, 저는 소수점 점수는 제품에 관한 잡학 지식(product trivia)으로 취급하고, 남겨진 결과물(artifact)을 공학적 결정(engineering decision)으로 계속 취급할 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기