AI 엔지니어링이 감사(Audit)의 시대에 진입하다

컨퍼런스 의제 분석을 통한 현재 AI 트렌드 파악

컨퍼런스 의제는 꽤 괜찮은 데이터셋입니다. 발표되는 내용과 실제로 채택된 내용을 비교해 보면, 이는 항상 당대의 시대정신(zeitgeist)을 삼각측량하려는 시도입니다. 그래서 저는 AI Engineer New York의 약 140개 세션들을 살펴보고, 6개월 전에는 그렇게 집단적으로 중요하게 여겨지지 않았던 이 행사에서 어떤 주제들이 존재하는지 파악하려고 노력했습니다.

첫 번째 발견은 명백한 것입니다. 이곳은 이제 에이전트(agent) 컨퍼런스입니다. 다섯 개 중 두 개의 세션에 "agent"라는 단어가 들어갑니다. 이것은 기본 전제 조건일 뿐이며, 흥미로운 부분은 사람들이 이 에이전트를 가지고 무엇을 하고 싶어 하는가입니다.

또한 이곳은 설계상 금융(finance) 컨퍼런스이기도 합니다. "AI 엔지니어링과 월스트리트의 만남"으로 홍보되고 있습니다. 이것이 오히려 더 유용하게 만듭니다. 금융 분야는 스트레스 테스트와 같습니다. 여기서는 "대체로 맞다"라는 것이 책임 소재가 될 수 있으며, 모든 결정에는 기록(paper trail)이 필요하고, 항상 누군가가 왜라고 묻기 때문입니다. 이 방의 사람들이 지금 걱정하는 것은 곧 우리 모두가 직면하게 될 문제들일 것입니다.

"작동한다"는 기준은 더 이상 아니다. "증명하라"가 기준이다.

에이전트 다음으로 가장 큰 클러스터는 평가(evaluation)와 검증(verification)입니다. 거의 20개의 세션이 있으며, 그중 여섯 개에는 "trust"라는 단어가 들어갑니다. 생성은 이제 저렴합니다. 이것이 올바르다는 것을 증명하는 곳에 진정한 작업이 있습니다. Addy Osmani와 Manish Kapur는 소프트웨어 공장(software factory)을 누가 검증할 수 있는지에 대해 질문하고 있으며, 다른 강연들은 검증 루프(verification loops)와 무심코 다른 것을 망가뜨리는 에이전트 수정 방안들을 다루고 있습니다.

금융 분야는 정확성(correctness)을 넘어 방어 가능성(defensibility)으로 나아갑니다. 한 세션에서는 모든 평가를 통과한 후에도 에이전트의 결정을 어떻게 방어할 수 있는지에 대해 질문합니다. 이것이 컨퍼런스에서 가장 날카로운 질문일 수 있습니다. Vinoo Ganesh는 세 개의 세션을 맡고 있으며, 그중 하나는 단 하나의 지침으로 요약됩니다. 모델들이 숫자를 임의로 만들어내게 두지 말라는 것입니다. 평가를 통과하고 신뢰를 얻는 것은 다른 문제이며, 이 둘 사이의 간극이 많은 AI 엔지니어링 경력이 만들어질 곳입니다.

에이전트가 주체(Principals)가 되다

보안, 신원 확인(identity), 권한(permissions), 결제 등과 관련된 세션이 십여 개 진행됩니다. 우리는 인간을 위해 이 스택을 구축하는 데 20년을 보냈습니다. 이제는 스스로 행동하는 소프트웨어를 위해 이를 재구축하고 있습니다. 의도 기반 인증 (intent-based auth) 패널에는 OAuth 2.0 설계의 주도적인 역할을 한 Dick Hardt가 참여합니다. 다른 세션들에서는 규제 산업에서의 에이전트 권한, 에이전트를 위한 금융 계좌, 그리고 여러분의 다음 사용자가 에이전트일 것이라는 아이디어를 다룹니다.

제가 가장 흥미로웠던 조합은 다음과 같습니다: 한 강연은 에이전트가 할 수 있음에도 불구하고 왜 비용을 지불하지 않는지 묻고, 다른 강연은 x402 에이전트 결제에 대한 여섯 가지 공격을 통해 과정을 설명합니다. 이 두 강연만으로 전체 도입 곡선(adoption curve)이 담겨 있습니다. 인프라(rails)는 존재하지만, 아직 신뢰(trust)가 부족한 상태입니다. 만약 API를 운영한다면, 호출자가 예산(budget)을 가진 에이전트일 때 어떤 변화가 생길지 지금부터 고민해야 합니다.

지능에도 가격표가 붙다

비용은 또 다른 큰 신호입니다. 토큰 경제학(tokenomics), 지능의 비용, 그리고 더 빠른 모델의 숨겨진 비용에 대한 세션들이 있습니다. 이어서 월스트리트 자체의 어휘가 등장합니다: 컴퓨팅 시장(compute markets), 컴퓨팅의 다크 풀(dark pools of compute), 그리고 Compute Exchange CEO의 세션이 열립니다. 스피커 라운지 중 하나는 말 그대로 토큰 억만장자 라운지(Token Billionaires Lounge)입니다.

사람들이 GPU를 시장 구조의 언어로 설명하면서, 컴퓨팅은 상품(commodity)이 되었습니다. AI 엔지니어들은 이제 CFO처럼 생각해야 합니다: 이 호출 비용은 얼마이며, 더 나은 모델을 사용하는 것이 그만한 가치가 있는가?

그렇다면 우리는 무엇을 해야 할까?

Ryan Carson은 여러분의 직업이 이제 에이전트 관리자 (agent manager)가 되었다고 주장합니다. Laurie Voss는 프로덕트 엔지니어의 부상에 대해 이야기하고 있습니다. 저는 그들이 옳다고 생각하지만, 또 다른 세션에서 나온 주의사항이 있습니다: 인간을 에이전트를 위한 API로 바꾸는 것을 멈추라.

이처럼 실용적인 결과를 중심으로 하는 컨퍼런스는 최첨단 모델(frontier model)의 헤드라인을 뚫고 지나가 우리가 더 주도적으로 적용할 수 있는 주제들을 이해하는 데 도움을 줄 수 있습니다. 우리는 AI 엔지니어로서 우리의 역할을 수행하기 위해, 결과물을 증명하고, 권한 범위를 설정하며, 비용을 지불하려고 노력하고 있습니다.