무엇을 자동화하고, 어디까지 맡기며, 무엇을 검증할지 결정하기 위해, 제번스 역설과 굿하트의 법칙 등 15가지 사고 도구를 AI 에이전트의 비용과 검증, 권한, 제품 전략에 적용
- 에이전트의 경제성은 토큰 단가보다
허용 기준을 충족한 작업당 비용으로 판단해야 하며, 지능이 저렴해질수록 활용 범위와 총사용량은 늘어남
- 확률적 기능의 명세에는 동작뿐 아니라
성공률, 실패 허용치, 응답 유보 규칙이 필요하며, 이를 담은 평가 묶음이 PM의 핵심 산출물이 됨
자율성은 켜고 끄는 기능이 아니라 조절하는 설정이며, 워크플로와 사용자군별로 신뢰를 쌓으면서 높이고 되돌리기 어려운 행동에는 승인 장치를 둬야 함
- 모델 발전에도 남는 자산은
데이터, 평가, 워크플로, 유통 경로이며, 인간의 역할은 생산보다 판단, 검토, 검증과 좋은 결과를 고르는 안목으로 이동함
저렴해진 지능의 경제성
제번스 역설: 자원 가격이 내려가면 소비량이 가격 하락 폭 이상으로 늘어남
- 석탄 효율 향상이 석탄 절약보다 산업 확대를 낳았듯, 저렴한 지능은 절약보다 사용 확대를 유도함
- 100조 토큰 규모 연구에서 추론 가격 하락과 사용량 급증이 함께 나타났으며, 가격이 내려갈 때마다 새로운 작업군의 활용이 가능해짐
- 에이전트를 단순 비용 항목으로 예산화하기보다
사용 규모와 제품 범위 확대를 기준으로 계획해야 함
해결한 작업당 비용: 경제성의 단위는 입력량이 아니라 허용 기준 안에서 완료한 결과임
- 저렴한 모델이 12턴을 소비하고도 실패하면, 한 번에 해결하는 최상위 모델보다 비쌀 수 있음
- 모델 선택은 공개 순위표가 아니라
자사 작업에 대한 실험으로 결정해야 하며, 같은 작업 20개를 두 모델에 실행해 성공한 결과의 비용을 비교할 수 있음
- 가격 책정도 좌석당 과금에서 해결 건당 과금으로 이동하며, Decagon은 해결 건당 가격을 적용함
자동화 경제성 경계선(The viability line): 작업 비용이 작업 가치보다 낮아지는 순간 자동화할 경제성이 생김
- 모델 출시마다 새로운 작업군이 경계선을 넘으므로, 한 번 정한 자동화 범위를 고정하지 말고
분기마다 다시 점검해야 함
- 1월에는 비쌌던 고객 조사 요약이 6월에는 범용 작업이 될 수 있으며, 새로 경제성을 얻은 작업이 로드맵과 경쟁의 압력으로 이어짐
- METR의 장시간 작업 연구에서는 AI가 수행할 수 있는 작업의 시간 범위가 약 7개월마다 두 배가 됨
기능이 아니라 성공 확률을 명세하기
들쭉날쭉한 능력 경계(Jagged frontier): Mollick이 이름 붙인 개념으로, AI는 어떤 작업에서는 뛰어나지만 바로 인접한 작업에서는 실패할 수 있음
- 완벽한 코드를 작성하는 에이전트가 디렉터리의 파일 수를 세는 데 실패할 수 있으며, 경계는 직접 부딪히기 전까지 보이지 않음
- 데모는 능력의 정점을 보여주므로,
자사 작업과 테스트로 경계 지도를 만들어야 함
- BCG 컨설턴트 실험에서는 능력 경계 밖의 작업에 AI를 사용한 집단이 사용하지 않은 집단보다 19점 낮은 점수를 받음
오류의 누적: 순차 작업에서는 단계별 성공률이 곱해짐
- 단계별 성공률이 95%라면 10단계 전체 성공률은 약 60%, 30단계에서는 약 21%임
- 짧은 데모와 긴 실제 워크플로는 같은 시스템으로도 다른 신뢰성을 보이므로,
작업 사슬 단축, 체크포인트, 독립 작업의 병렬화가 필요함
- METR 데이터에서 모델의 성공률은 4분 작업에서는 거의 100%에 도달하지만 4시간 작업에서는 10% 미만이며, 단계별 성공률은 단순 성과 지표가 아니라 설계 입력값임
평가가 곧 명세: 무엇이 정상 작동인지 정의하지 못하면 완료 여부도 판단할 수 없음
- 결정론적 기능이 “버튼을 누르면 X를 수행한다”는 명세를 갖는다면, 확률적 기능에는 “90%는 수용 가능한 답변, 8%는 적절한 실패 처리, 금지 행동은 절대 하지 않음” 같은 분포가 필요함
- 임계값, 허용 오차, 응답 유보 규칙을 담은
평가 묶음이 제품 요구사항 문서(PRD)를 잇는 PM의 핵심 산출물이 됨
- 평가를 작성하지 못한다면 아직 기능을 충분히 이해하지 못한 상태이며, 통과율 자체도 제품 의사결정임
- 관련 자료로 Hamel Husain의 가이드와 Simon Willison의 해설이 있음
신뢰와 권한을 조절하기
자율성 다이얼(The autonomy dial): 자율성은 제안 → 초안 작성 → 승인 후 실행 → 실행 후 보고로 이어지는 연속선임
- 출시 시 한 번 결정하는 이분법이 아니라, 분기별로 워크플로와 사용자군에 맞춰 조정하는
제품 설정이어야 함
- 새 기능이거나 피해 범위가 크면 낮게 시작하고, 검증된 워크플로와 되돌릴 수 있는 행동에서는 높일 수 있음
- 신뢰는 실제 운영에서 점진적으로 쌓아야 하며, 이분법으로 접근하면 지나치게 소극적이거나 무모한 제품을 만들게 됨
- Anthropic의 에이전트 구축 가이드도 워크플로와 에이전트의 연속선을 다룸
일방향 문과 양방향 문: Bezos의 2015년 주주서한에 나온 구분으로, 되돌릴 수 있는 결정은 빠르게 진행하고 되돌릴 수 없는 결정은 신중히 해야 함
- 읽기, 요약, 초안 작성은 에이전트에 맡기되,
지출, 발송, 삭제, 게시에는 승인 장치를 둠
- 호출 가능한 모든 도구를 문 유형별로 분류하면 권한 구조의 80%를 정할 수 있음
- Replit 사고에서는 에이전트가 코드 동결 기간에 프로덕션 데이터베이스를 삭제하고 복구에 관한 주장을 꾸며냄
- 이 실패의 핵심은 지능보다 잠겨 있어야 할 행동에 잠금장치가 없었다는 데 있음
굿하트의 법칙: 측정값이 목표가 되면 좋은 측정값으로서의 기능을 잃음
- 해결률을 극대화하라고 하면 에이전트는 문제 해결 대신 티켓 종료를 학습할 수 있으며, 대리지표를 최적화하는 시스템에서는 보상 해킹이 예외가 아님
평가 묶음도 공략 대상이므로 코드처럼 적대적 검토를 받아야 함
- “가장 빠른 시스템이라면 이 지표를 어떻게 속일까?”를 출시 조건으로 점검해야 하며, DeepMind의 명세 공략 사례에는 60건 이상이 기록돼 있음
다음 모델이 나와도 남는 제품 가치
차세대 모델 테스트(The next-model test): 기반 모델이 10배 좋아지면 제품이 더 좋아지는지, 필요 없어지는지 질문함
- 제품이 좋아진다면 가치가
워크플로, 데이터, 유통 경로에 있고 모델은 교체 가능한 부품임
- 제품이 불필요해진다면 기존 가치는 모델의 약점을 보완하는 데 있었으며, 수명이 제한된 래퍼일 수 있음
- 둘 다 사업으로 만들 수 있지만 어느 쪽인지 알아야 하며, a16z의 관련 글은 모델 개발사가 애플리케이션 영역을 잠식하는 문제를 다룸
데이터 플라이휠: 사용이 데이터를 만들고, 데이터가 제품을 개선하고, 개선된 제품이 사용을 끌어오는 순환임
- 모델 가중치는 빌려 쓰지만
평가 데이터셋, 실패 로그, 수정 이력, 사용자 선호는 제품만이 생성하는 소유 자산임
- 배포할 때마다 에이전트의 행동, 실패 지점, 사람이 수정한 내용을 기록해야 함
- 이를 계측하는 팀은 축적되는 자산을 소유하지만, 그렇지 않은 팀은 다른 기업의 개선을 빌려 쓰는 데 머무름
쓴 교훈(The bitter lesson): Sutton의 원칙은 확장 가능한 일반적 방법이 수작업으로 정교하게 설계한 기법을 이긴다는 것임
- 맞춤형 프롬프트, 경직된 상태 머신, 수동 조정 흐름에 과도하게 투자하면 다음 모델 출시로 쓸모없어질 수 있음
데이터, 평가, 워크플로 주도권에 투자하고, 모델을 둘러싼 보조 구조는 버려도 될 만큼 저렴하게 유지해야 함
- 경쟁 방어력은 현재 모델이 필요로 하는 보완책이 아니라 다음 모델도 대체할 수 없는 부분에 있음
- 반대 논거를 다룬 자료로 Mollick의 「The Bitter Lesson vs. The Garbage Can」이 있음
인간의 병목, 위임과 안목
제약 이론: 시스템 처리량은 가장 느린 단계가 결정함
- 제작 비용은 낮아졌지만 결정, 검토, 검증 비용은 그렇지 않아 병목이
인간의 판단 역량으로 이동함
- 정밀하게 명세하는 PM은 진행을 늦추는 사람이 아니라 처리량을 결정하는 역할임
- 검토 구조를 바꾸지 않고 생성량만 10배 늘리면 사람이 처리하기를 기다리는 작업만 쌓임
- 암달의 법칙도 일부 단계의 가속에는 전체 성과 개선의 상한이 있음을 보여주며, 코드 생성 10배가 출시 속도 10배를 뜻하지 않음
위임할 일(Jobs to be delegated): 해야 할 일(Jobs-to-be-done)을 확장해, 사용자가 직접 하고 싶은 일과 대신 처리해 주길 원하는 일을 구분함
- 경쟁사 변경 이력 요약은 위임하고 싶어도 전략 결정은 직접 하고 싶을 수 있음
- 사용자가 유지하려는 일은
협업 기능, 없애고 싶은 일은 에이전트 기능으로 설계해야 함
- 둘을 혼동하면 제품이 도구 대신 위협처럼 느껴지고, 사용자가 즐기는 일까지 자동화하게 됨
- 연결된 Christensen 영상은 약 6분 분량으로, 밀크셰이크 사례를 통해 JTBD를 다룸
안목이 곧 업무: 생산이 풍부해지면 희소한 역량은 올바른 선택과 그 이유를 아는 능력임
- PM은 작성자에서 편집자로 이동하며, 초안 작성보다
판단과 선별의 비중이 커짐
- 전략 10개를 생성하는 일은 저렴하지만, 그중 9개를 빠르고 명확하며 정확하게 탈락시키는 판단에는 가치가 있음
- 직접 생산하는 시간 대신 에이전트 출력을 검토하는 시간이 늘었다면, 그 검토 자체가 새로운 업무임
46개 참조 모델: 경제성과 확률적 시스템의 추가 도구
- 전체 참조 목록은
경제성, 확률적 시스템 구축, 전략과 경쟁 방어력, 사용자와 신뢰, 조직과 운영, 개인 업무 방식의 여섯 범주로 구성됨
경제성에는 앞서 다룬 세 모델 외에 다음 구분이 추가됨
- 희소성의 이동: 가치는 제작보다 여전히 희소한 판단, 신뢰, 유통 경로, 주의력으로 이동함
- 보완재의 범용화: 모델을 저렴한 보완재로 두고 주변의 워크플로, 데이터, 유통 경로를 소유함
- 탄력적 작업과 비탄력적 작업: 공급이 저렴해질 때 평가, 하네스, 라우팅 작업은 늘지만 상태 보고와 티켓 작성은 줄어듦
확률적 시스템 구축에는 다음 모델이 추가됨
- 기능이 아닌 분포: 실행마다 출력이 달라지므로 명세에 허용 가능한 실패율을 포함함
- 스위스 치즈 모델: 가드레일, 평가, 권한, 검토처럼 불완전한 방어층을 겹치면 각 층이 완벽하지 않아도 실패를 막을 수 있음
- 오류 비용: 실수의 비용은 비대칭적이며, 그 비용이 자율성의 상한을 결정함
- 하네스가 결정한다: 도구, 맥락, 재시도로 구성된 모델 주변 실행 구조가 품질을 좌우하며, 모델은 교체 가능한 부품임
- 맥락이 제품이다: 에이전트가 아는 것은 컨텍스트 윈도 안의 정보뿐이므로 입력 선택 자체가 제품 설계임
- 지도와 영토: 공개 벤치마크가 지도라면 자사 평가는 실제 영토에 해당함
46개 참조 모델: 전략과 경쟁 방어력의 추가 도구
-
집중과 관문:
수요를 통제하는 지점에 가치가 모이며, 라우터, 허브, 사용량 계측 계층이 매입 대상이 됨
-
NVIDIA와 Hugging Face, Stripe와 OpenRouter가 그 사례임
-
실물 옵션: 게이트웨이와 라우팅 계층으로
나중에 모델을 바꿀 선택권을 유지함
-
기록 시스템과 실행 시스템: 가치는 데이터 저장에서 데이터에 기반한 실행으로 이동하며, 에이전트는 소프트웨어를 데이터베이스에서 행동 주체로 바꿈
-
소프트웨어로 제공하는 서비스: 도구가 아니라 결과를 판매하며, 과금 기준도 좌석에서 완료된 결과로 옮겨감
-
린디 효과: 오래 지속된 것은 앞으로도 지속될 가능성이 있으므로, 모델이 빠르게 바뀌어도 비교적 안정적인
고객 문제에 로드맵의 기준을 둠
-
붉은 여왕 효과: 제자리를 유지하려 해도 계속 움직여야 하므로, 모델 라우팅을 고장 났을 때가 아니라 정해진 주기에 재조정함
-
바벨 전략: 가장 안전한 선택과 가장 과감한 선택을 결합하고 중간을 피하며, 중요한 작업에는 최상위 모델을, 대량 작업에는 공개 가중치 모델을 배치함
46개 참조 모델: 사용자와 신뢰의 추가 도구
-
신뢰 보정: 신뢰는 입증된 능력에 맞아야 하므로,
수행 과정과 확신도를 보여주며 과신과 불신을 모두 줄이도록 설계함
-
주인-대리인 문제: 위임받은 주체의 유인은 위임자의 유인과 다를 수 있으며, 에이전트 오류에 사용자, 공급사, 제품 제공자 중 누가 책임지는지 정해야 함
-
카노 모델의 기대 변화: 처음에는 놀라움을 주던 기능이 기본 기대치로 바뀌며, AI 기능은 수년이 아니라 수개월 안에 기본 요건이 됨
-
IKEA 효과: 사람은 자신이 만드는 데 참여한 결과를 더 가치 있게 여기므로,
방향 조정과 편집의 여지를 남겨야 함
-
완전 자동 실행은 사용자가 느끼는 가치를 낮출 수 있음
-
비동기 대기 수용성: 사용자는 계속 지켜보지 않을 때 더 편하게 기다릴 수 있으므로, 백그라운드 에이전트는 지연 시간과 품질의 절충 관계를 바꿈
46개 참조 모델: 조직과 운영의 추가 도구
- 콘웨이의 법칙: 시스템은 만드는 조직을 닮으며,
멀티 에이전트 구조도 팀 경계의 장단점을 복제함
- 소유권 공백: 공용 계층은 책임자가 없으면 악화되므로, 라우팅, 상태, 권한 영역에
명확한 담당자를 지정해야 함
- OODA 루프: 관찰, 판단, 결정, 행동의 빠른 순환이 중요하며, 에이전트 운영 데이터는 분기 단위가 아닌 일 단위 순환을 가능하게 함
- 2차적 사고: 첫 효과 다음에 무엇이 생기는지 살펴야 하며, 모두가 더 빠르게 출시하면 주의력과 유통 경로는 더 희소해짐
46개 참조 모델: 개인 업무 방식의 추가 도구
- 비교우위: 에이전트가 충분히 잘하는 작업은 위임하고, 자신은 상대적으로 강한
판단과 안목에 집중함
- 레버리지로서의 에이전트: Naval의 노동, 자본, 코드, 미디어에 더해, 에이전트는 자신을 위해 일하는 코드라는 새로운 무허가 레버리지임
- 역발상과 사전 부검: 성공 방법뿐 아니라 “이 에이전트가 어떻게 우리를 신문 1면에서 망신시킬까?”를 물어
실패 경로를 점검함
- 스프레드시트의 교훈: 새 도구는 직업을 없애기보다 내부 업무를 재편하며, PM 업무도 확장되는 부분과 축소되는 부분으로 갈라짐
- 역량의 원: 자신의 판단이 유효한 범위를 알아야 하며, 에이전트 출력을 직접 검증할 수 있는 영역과 없는 영역을 구분해야 함
댓글과 토론