AI 코딩 에이전트 시대에 직원이 기여하는 가치 탐구

AI Engineer를 운영하는 큐레이터 Shawn “swyx” Wang (@aidotengineer)가 합류하여, AI 코딩 에이전트가 소프트웨어 생성을 저렴하게 만들 때 직원들이 어떤 것을 추가하는지 살펴봅니다. 그가 코딩 에이전트를 사용하여 컨퍼런스 소프트웨어를 구축하고 운영하기 때문에, 우리는 가설적인 질문보다는 운영자의 질문을 얻게 됩니다. 즉, 소프트웨어 생성 비용이 저렴해질 때 사람이 무엇에 기여해야 하는지에 대한 것입니다.

우리는 이 질문의 배경에 있는 책임성 테스트(accountability test)에 시간을 할애합니다. swyx는 Claude가 만든 결과물(slop)을 전달한 직원들이 성과 검토를 받는 상황을 설명하고, 왜 인간이 어떤 결과에 대한 설명을 아웃소싱할 수 없는지 듣게 됩니다. 14.7% 성장 보고서가 그 작성자가 무엇 때문에 그런 결과를 얻었는지 말할 수 없게 되자 문제가 된 사례였습니다.

같은 기준은 소프트웨어 자체에도 나타납니다. 우리는 두 코딩 에이전트가 경쟁하는 메시지 로딩 경로와 레이스 컨디션(race condition)을 만들었던 방법을 논의하고, 왜 모듈 수준의 감독(oversight)이 중요한지 이야기합니다. 모듈은 시스템 내부의 블랙박스가 될 수 있지만, 여전히 그것이 어떻게 함께 작동하는지 이해하는 누군가가 필요합니다.

다음으로 SaaS 대체 바운티의 경제학을 따라갑니다. 40,000달러 상당의 SaaS 구독을 대체하기 위한 10,000달러 바운티는 충분한 '바이브 코딩(vibe-coded)' 제출물을 만들어내어 워크플로우 테스트와 검증이 병목 현상이 되었습니다. 우리는 일반적인 이야기에 유용한 수정을 얻습니다. 즉, 저렴해진 생성 비용은 작업을 평가(evaluation) 영역으로 이동시킬 수 있다는 것입니다.

실질적인 이득은 이벤트 팀에서 나옵니다. 소프트웨어 변경을 요청하고 1~2시간 내에 받을 수 있게 되자 회의적이던 이벤트 스태프들이 기꺼이 변화를 받아들인다는 이야기를 논의합니다. 이러한 피드백 루프는 유용성에 대한 구체적인 테스트를 제공합니다. 즉, 실제 워크플로우에 반응하는 소프트웨어입니다.

마지막으로 초점을 프롬프트에서 관리(management)로 넓힙니다. 우리는 사람들을 프롬프트로 관리하기보다 결과(results)로 팀 리드를 관리하는 것에 대해 논의하고, 다음과 같은 경고를 남기며 마무리합니다. 높은 SWE-bench 점수가 사용 가능한 소프트웨어와는 여전히 같지 않다는 것입니다.

우리는 많은 것을 배웠습니다. 즐거운 시간 되세요!

타임스탬프
0:00 Claude를 넘어 직원이 기여하는 가치
2:55 수요는 증가하는데 두 명의 직원은 검토 대상
4:14 부족한 전문 지식을 드러낸 성장 보고서
5:02 런칭 에이전시가 그에게 Claude의 저품질 결과물을 팔았다
6:05 경력 연수보다 취향이 채용 테스트다
7:58 두 코딩 에이전트가 하나의 레이스 컨디션을 만들었다
9:22 4만 달러짜리 SaaS 구독료가 보상금으로 변하다
10:07 저렴한 분위기 코드 제출물이 값비싼 검증을 만들어내다
11:42 회의적인 이벤트 스태프는 변경 사항에 두 시간이 걸릴 때 바꾼다
13:09 모든 스프레드시트는 구축되지 않은 맞춤형 소프트웨어이다
15:16 팀 리더를 프롬프트로 사람 관리하지 말고 결과로 관리하라
17:25 SWE-bench에서 90점도 여전히 사용 가능한 소프트웨어가 아니다