모두가 더 똑똑한 에이전트(Agents)를 만들고 있지만, 정작 그것들이 구동되는 환경은 아무도 고치지 않고 있습니다.

저는 한동안 AI 에이전트(AI agent) 분야를 지켜봐 왔는데, 아무도 진지하게 이야기하지 않는 무언가가 계속 저를 괴롭히고 있습니다.

매주 새로운 모델이 등장합니다. 더 똑똑한 추론(reasoning), 더 긴 컨텍스트(context), 더 나은 도구 사용(tool use) 능력을 갖추고 말이죠. 벤치마크(benchmarks) 점수는 올라가고, 데모(demos)는 믿기 힘들 정도로 멋져 보입니다. 하지만 실제로 이 에이전트 중 하나를 배포하여 작동하는 모습을 지켜보면 깨닫게 됩니다. 에이전트가 시간의 절반을 자신을 위해 설계되지도 않은 인프라(infrastructure)와 싸우는 데 허비하고 있다는 사실을 말이죠.

여러분의 GPT-4o나 Claude 에이전트는 HTML을 스크래핑(scraping)하고 있습니다. 속도 제한(rate limits)에 걸리고, 실제로 필요한 세 개의 숫자를 찾기 위해 노이즈(noise)를 파싱(parsing)합니다. 죽은 엔드포인트(endpoints)에 재시도(retrying)를 반복합니다. 이는 마치 누군가에게 스포츠카를 주고 나서 비포장도로로 보내는 것과 같습니다.

웹(web)은 인간을 위해 구축되었습니다. 브라우저(Browsers)가 렌더링(rendering), 파싱(parsing), 세션 관리(session management)와 같은 모든 지저분한 작업들을 처리해주었기에 우리는 그것에 대해 고민할 필요가 없었습니다. 하지만 에이전트에게는 그런 완충 장치(buffer)가 없습니다. 그들은 인터넷 데이터가 실제로 얼마나 혼란스러운지에 대한 가공되지 않은 현실에 직면하며, 매 요청마다 그 문제를 처리해야 합니다.

이것은 모델의 문제가 아닙니다. 지능은 이미 갖춰져 있습니다. 병목 현상(bottleneck)은 파이프(pipe)에 있습니다.

컴퓨터가 서로 통신하는 방식을 표준화한 TCP/IP가 등장하기 전, 초기 인터넷 인프라가 어떠했는지 생각해 보십시오. 모든 네트워크는 각자의 프로토콜(protocols)과 고유한 특성을 가지고 있었습니다. 두 기기가 데이터를 안정적으로 교환하게 만드는 것은 진정으로 어려운 일이었습니다. 그러다 스택(stack)이 표준화되자, 갑자기 흥미로운 문제들은 전선이 어떻게 연결되느냐가 아니라 그 위에 무엇을 구축하느냐로 옮겨갔습니다.

에이전트들은 현재 그 표준화 이전의 순간에 놓여 있습니다. 모두가 인간용 인프라 위에 구축하고 있는 이유는 그것이 적합해서가 아니라, 단지 그것이 존재하기 때문입니다. 웹은 문제를 무시하기 쉬울 정도로 충분히 잘 작동합니다. 하지만 "충분히 괜찮은 것"과 "이를 위해 실제로 설계된 것"은 매우 다른 문제입니다.

에이전트에게 실제로 필요한 것은 직접 쿼리(query)할 수 있는 구조화된 데이터(structured data), 인간용 중개자를 거치지 않고 다른 에이전트와 연결되는 기능, 그리고 클라이언트를 단순히 단계가 추가된 브라우저로 취급하는 것이 아니라 자율적인 존재로 가정하는 네트워킹 레이어(networking layer)입니다.

그중 일부가 나타나기 시작했습니다. 단일 제품이나 기업 차원이 아니라, 이 분야가 명확하게 나아가고 있는 방향으로서 말입니다. 모바일이 단순히 데스크톱 웹을 축소시킨 것에 그치지 않고, 결국 자신만의 앱, 자신만의 패턴, 자신만의 인프라(infrastructure)를 갖게 된 것과 마찬가지로, 에이전트(agents) 또한 인간의 인프라를 빌려 쓰는 것을 멈추고 자신들만의 인프라를 구축하기 시작할 것입니다.

그렇게 되면, 그 성과는 벤치마크(benchmark) 수치로 나타나지 않을 것입니다. 대신 작업당 비용(cost per task), 지연 시간(latency), 신뢰성(reliability)에서 나타날 것입니다. 에이전트가 실제 운영 환경(production)에서 유용한지, 아니면 단순히 데모(demo)에서만 인상적인지를 실제로 결정짓는 지루한 운영상의 요소들 말입니다.

더 똑똑한 에이전트를 만들기 위한 경쟁은 실재하며 달릴 가치가 있습니다. 하지만 어느 시점에는 누군가가 도로를 정비해야만 합니다.