워크숍 데이: AI 엔지니어링의 현안을 조명하다

컨퍼런스의 첫날은 보통 듣는 것에 초점을 맞춥니다. 이번 행사는 참가자들을 처음부터 키보드 앞에 앉게 했고, 프로그램 구성 자체가 현재 엔지니어링 팀들이 씨름하고 있는 문제들의 스냅샷이 되었습니다. 세 가지 주제가 반복적으로 등장했습니다.

평가(Evals)가 중심에 섰다. 18개 워크숍 중 7개가 에이전트가 실제로 작동하는 것을 증명하는 데 초점을 맞췄습니다. 많은 팀들이 에이전트를 실행시키는 것은 쉽지만, 그것을 신뢰할 수 있는지 아는 것은 아니라는 어려운 교훈을 얻었습니다. Laurie Voss는 Phoenix를 활용한 평가(Evaluations with Phoenix 101)를 가르쳤고, SallyAnn DeLucia는 AI 평가(AI Evaluation 101)를 이끌었으며, Xander Song의 Harbor 소개 세션은 에이전트를 '느낌'이 아닌 '증거'에 기반하여 배포하는 방법을 다루었습니다. Sonar와 Langfuse의 세션들, 그리고 Nick Nisi와 Zack Proser가 진행한 검증 루프(verification loops) 워크숍까지도 같은 메시지를 전달했습니다: '완료되었다'는 것에 대한 정의가 필요합니다. 과거에는 평가가 누군가를 감명시킨 데모 후에 팀들이 추가하는 것이었습니다. 하지만 이번 세션들에서는 마치 소프트웨어 엔지니어들이 단위 테스트(unit tests)를 다루듯이, 빌드 과정 자체의 일부로 간주되어 초기에 작성되고 지속적으로 실행되는 것으로 취급되었습니다.

금융 분야가 시험대 역할을 했다. 6개의 워크숍은 금융 서비스 및 기타 규제 산업을 대상으로 했습니다. ChatGPT로 구축된 자산 관리 컨시어지부터 금융 범죄 탐지를 위한 자금세탁방지(anti-money-laundering) 에이전트, 비정형 데이터 기반의 보험 프로그램에 이르기까지 다양했습니다. 규제 산업은 에이전트에게 까다로운 테스트 케이스를 제공합니다. 모든 결정에는 감사 추적(audit trail)이 필요하며, 실수는 법적, 재정적 결과를 초래하고, 데이터는 거의 깨끗한 형식으로 도착하지 않습니다. 컴플라이언스 검토와 지저분한 정책 문서 속에서도 살아남을 수 있는 에이전트는 샌드박스에서 질문에 답하는 에이전트보다 훨씬 높은 기준을 통과했음을 의미합니다. 이는 많은 은행, 보험사, 핀테크 기업들이 본사를 두고 있는 뉴욕이라는 도시의 성격상 적절한 초점이었습니다.

모델만큼이나 하네스(harness)가 중요하다. 세 번째 워크숍 그룹에서는 모델 주변의 모든 것—오케스트레이션(orchestration), 권한(permissions), 신뢰성(reliability), 그리고 비용(cost)—을 살펴보았습니다. 참석자들은 Claude Managed Agents를 오케스트레이션하고, 밤새 자체 개선하는 에이전트를 구축하며, Keycard와 Temporal로 장기 실행되는 에이전트를 보호할 수 있었고, Lance Martin의 Unhobbling the Frontier에 대해 깊이 탐구했습니다. Eugene Cheah의 Tokenomics 101은 그 다음 단계가 되는 청구서(bill)를 다루었습니다. 모델의 역량은 계속 상승하고 있지만, 사용자가 실제로 경험하는 것은 그 주변을 감싸는 시스템에 의해 똑같이 크게 좌우됩니다. 즉, 에이전트가 어떻게 스케줄링되고, 무엇에 접근할 수 있는지, 작업 중간에 무언가 실패했을 때 어떻게 복구하는지, 그리고 각 실행 비용이 얼마인지 등이 중요합니다. 몇 시간 동안 스스로 작동하는 에이전트는 챗봇이 결코 필요로 하지 않았던 가드레일(guardrails)을 필요로 하며, 그 지출은 누구나 예산 책정했던 것보다 빠르게 증가할 수 있습니다.

MLH와 함께한 일요일의 AI 엔지니어 뉴욕 해커톤을 마치고 온 빌더들에게 월요일은 자연스러운 다음 단계였습니다. 해커톤은 속도를 보상했습니다. 아이디어를 선택하고, 작동하는 무언가를 출시하며, 시간이 다 되기 전에 시연하는 것이었습니다. 반면 워크숍들은 사람들에게 속도를 늦추고, 테스트, 보안, 비용 통제와 같이 주말 스프린트가 건너뛰는 부분을 배우도록 요청했습니다. 더 적은 스프린팅, 더 많은 깊이, 그리고 에이전트가 어떻게 구축되고 신뢰받게 되는지를 형성하는 도구들과의 실제 실습 시간이었습니다.