나는 Ship 26에 다녀왔다. 모두가 에이전트(Agents)를 출시하고 있다. 하지만 아무도 정말 중요한 한 가지는 출시하지 않고 있다.

나는 베를린에서 열린 Vercel의 Ship 26에서 오후와 저녁 시간을 보냈다. 어두운 강당, 수백 명의 개발자, 그리고 장내의 모든 사람이 동시에 사진을 찍고 있는 일련의 슬라이드들이 있었다. 행사 전체가 하나의 메시지를 수십 가지 각도에서 반복하고 있었다: 소프트웨어는 이제 에이전트적(agentic)이다. 에이전트가 배포(deploy)한다. 에이전트가 에이전트를 구축한다. 에이전트가 프로덕션을 감시하고 스스로 롤백(roll back)한다.

그리고 수치들이 이를 뒷받침한다. Vercel은 자사 플랫폼의 모든 배포 중 절반 이상이 이제 코딩 에이전트(coding agents)로부터 발생한다고 밝혔다. 이는 6개월 전 3% 미만이었던 것과 비교하면 17배 급증한 수치다. AI 게이트웨이(AI Gateway) 트래픽은 월 2조 토큰에서 20조 토큰으로 늘어났다. 한 강연에서는 같은 점을 다른 방식으로 설명했다: 기업의 머지 커밋(merged commits) 중 약 60%가 이제 에이전트에 의해 작성된다. 이것은 예측이 아니다. 이미 기준점(baseline)이 되었다.

나는 이 트렌드에 확신을 얻으며 돌아왔다. 또한 거의 모든 사람이 이 트렌드를 거꾸로 읽고 있다는 확신도 얻었다.

내가 계속 생각하게 되는 슬라이드

Conference slide: a productivity curve that flattens into a plateau around 40%, with a dotted line showing where it would be if it scaled linearly.

그것은 기조 연설 무대에 있었던 것이 아니었다. 엔지니어링 강연 중 하나였으며, 매우 솔직한 내용이었다. 한 팀이 AI 코딩 도구를 도입하면서 얻은 자신들만의 내부 데이터를 공개했다. 역량(capability) 곡선은 수직으로 상승했다 — 정확히 예상했던 대로였다.

하지만 결과(results) 곡선은 달랐다.

결과는 약간 상승하다가, 40%의 생산성 향상 부근에서 평평해지며 정체되었다. 그들은 자신들의 슬라이드에 큰 글씨로 그 곡선에 직접 이름을 붙였다: "정체기 (THE PLATEAU)." 그 옆에는 만약 선형적으로 확장되었다면(scaled linearly) 도달했을 지점을 보여주는 희미한 점선이 있었는데, 이는 오른쪽 상단으로 훨씬 높게 뻗어 있었다. 그 두 선 사이의 간극 — 즉, 역량은 앞서 달려나가는데 결과는 평평해지는 현상 — 이 대략 내가 구축하고 있는 비즈니스의 전부다.

이는 작년 METR 연구의 형태와 동일합니다. 숙련된 개발자들에게 AI 도구가 주어졌고(given), 더 빨라질 것이라 기대되었지만, 측정 결과 오히려 19% 더 느려졌습니다. 더 많은 역량이 더 많은 결과물(shipped)로 이어지지는 않았습니다. 그 자체만으로는 그런 일이 거의 일어나지 않습니다.

하루 종일 가장 인간적이었던 말

Conference slide: the question shifts from 'how do we help engineers code faster' to 'what human-review artifacts do we still need so humans operate at the right checkpoints'.
기조 연설(keynote)에서 제 머릿속에 남은 문구는 이것입니다. Vercel의 CEO가 모든 기업이 서둘러 구축하려는 이 에이전트(agents)들에 대해 이야기하며 이렇게 말했습니다:

"에이전트는 공짜입니다. 강아지를 공짜로 얻는 것과 같죠. 모두가 강아지를 좋아합니다. 하지만 강아지는 바닥에 소변을 봅니다. 가구를 뜯어놓기도 하죠... 에이전트는 소프트웨어이며, 우리 모두는 소프트웨어가 결코 완성되지 않는다는 것을 알고 있습니다. 누군가는 그것들을 유지보수(maintain)해야 합니다."

전체 테마가 _자율성(autonomy)_인 행사에서 이 말을 다시 한번 읽어보십시오. 헤드라인은 "이제 에이전트가 업무를 수행한다"입니다. 하지만 무대 위에서 소리 내어 말한 작은 글씨(fine print)의 내용은 이렇습니다. "여전히 누군가는 그 일을 마무리하고 책임져야 한다."

그리고 이것은 단발적인 사례가 아니었습니다. 그들의 전체 에이전트 스택(agent stack)은 인간의 게이트(human gate)를 중심으로 구축되어 있습니다. Workflow SDK는 작업에 인간의 입력(human input)이 필요할 때 일시 중지됩니다. 그들의 프로덕션 에이전트(production agent)는 스스로 사고(incident)를 조사하겠지만, "프로덕션 상태를 변경하는 모든 것은 인간의 승인을 기다립니다." 또 다른 강연은 엔지니어의 직무 전체를 재정의했습니다. 슬라이드에 따르면, 질문은 더 이상 _"어떻게 하면 엔지니어가 더 빨리 코딩하도록 도울 것인가?"_가 아니라, _"우리가 여전히 필요로 하는 인간 검토 산출물(human-review artifacts)은 무엇이며, 인간이 적절한 체크포인트(checkpoints)에서 작동할 수 있도록 에이전트가 그것들을 어떻게 준비할 것인가?"_입니다.

현장에서 본 가장 진보된 에이전트 툴링(agent tooling)은 인간이 루프 안에 머문다(human stays in the loop)는 가정하에 설계되었습니다. 그것은 각주가 아닙니다. 그것이 바로 이 사안의 실제 형태입니다.

Conference slide listing what humans still own across the software lifecycle: plan, build, ship, retro — while humans keep the critical judgment.

"이제 빌드는 쉽다"가 승리가 아닌 함정인 이유

이것이 인프라(infrastructure)를 판매하지 못하는 부분입니다.

에이전트(agents)가 당신의 코드 절반을 작성하게 되면, 빌드(building)는 더 이상 어려운 부분이 아니게 됩니다. 그리고 병목 현상(bottleneck)은 제거된다고 해서 사라지는 것이 아니라, 한 단계 위로 이동합니다. 에이전트가 당신을 위해 해줄 수 없는 부분, 즉 마무리(finishing) 단계로 이동합니다. 그것을 책임지는 것(Owning it). 새로움이 사라지고, 배포(deploy)가 지루해지며, 아무도 지켜보지 않는 4일 차에 나타나는 것 말입니다.

빌드가 빨라질수록, 절반만 완성된 프로젝트들은 더 많이 쌓여갑니다. "90% 완료됨, 내 컴퓨터에서는 돌아감, 배포된 적 없음"이라는 무덤은 작아진 것이 아니라 작년보다 더 커졌습니다. 능력은 더 커졌지만, 완료 격차(completion gap)는 그대로입니다. 그 정체된 슬라이드(plateau slide)는 책임감(accountability)이 내재된 자본이 투입된 엔지니어링 조직(engineering org)에 관한 것이었습니다. 이제 그 어떤 것도 갖추지 못한 채 홀로 사이드 프로젝트를 진행하는 1인 개발자(solo dev)를 상상해 보십시오.

주말이면 무엇이든 빌드할 수 있는 개발자들로 가득 찬 컨퍼런스는, 조용히 말하자면 그 어느 때보다 더 많은 미완성 프로젝트를 갖게 될 사람들로 가득 찬 방과 같습니다.

아무도 출시(shipping)하지 않는 것

자율적인 모든 것들에 둘러싸여 보낸 저녁으로부터 얻은 솔직한 교훈은 다음과 같습니다:

Vercel은 프로덕션(production) 단계에서 인간을 루프 안에 유지(human in the loop)합니다. 하지만 거의 아무도 자기 자신에 대해서는 루프 안에 인간을 유지하지 않습니다.

당신은 에이전트를 위해 승인 게이트(approval gates), 범위 제한 권한(scoped permissions), 롤백 안전장치(rollback safety)를 연결할 것입니다. 그러고 나서 아무런 게이트도 없고, 다음 단계를 기대하는 사람도 없는 상태로 혼자 사이드 프로젝트를 시작할 것이며, 지난 세 번의 프로젝트처럼 85% 지점에서 프로젝트가 죽어버릴 때 놀란 척을 할 것입니다.

AI는 추적(tracks)합니다. 인간은 읽습니다(reads). 대시보드(dashboard)는 활동을 보여주지만, 당신의 부재를 알아차리지는 못합니다. 책임감 계층(accountability layer) — 당신이 피하고 있는 움직임을 읽고 이름을 붙이는 인간 — 은 이 전체 스택(stack)에서 아무도 당신을 대신해 배포(deploy)해 줄 수 없는 유일한 부분입니다. 그리고 이 모든 새로운 힘으로 당신이 만드는 것이 실제로 출시(ships)될지 여부를 결정하는 부분입니다.

솔직한 다음 단계

만약 당신의 프로젝트가 계속해서 동일한 지점 — 대개 당신의 지점 — 에서 죽어간다면, 더 많은 에이전트도 이를 해결해주지 못할 것입니다. 당신의 루프가 어디서 끊어지는지 아는 것이 해결책이 될 수 있습니다.

저는 정확히 그 문제를 해결하기 위한 무료 진단 도구 (diagnostic)를 만들었습니다. 7개의 질문, 2분 소요, 결과 확인을 위한 별도의 가입 절차도 없습니다. 이 도구는 당신이 어디에서 멈추는지, 그리고 무엇이 그 흐름을 깨뜨리는지 단 하나의 움직임을 지목해 줍니다.

모두가 더 빠르게 구축할 준비를 마친 채 Ship 26을 떠났습니다. 더 어렵고 가치 있는 질문은 당신이 과연 끝마칠 것인가 하는 점입니다. 당신의 루프 (loop)가 어디서 끊어지는지 확인해 보세요: mvpbuilder.io/ship-readiness
*Building in public. Day 131