작업 도중 에이전트로부터 키보드를 되찾아왔다 - 새로운 PMP가 테스트할 수 없는 것들

몇 주 전, 저는 에이전트(Agent)에게 공급업체 목록을 대조하는 작업을 맡겼습니다. 실행은 깔끔했습니다. 오류도 없었고, 충돌도 없었으며, 출력 결과도 올바르게 보였습니다. 그러다 제가 발견한 것은, 에이전트가 모회사를 공유하는 두 공급업체를 하나의 행으로 병합해 버렸다는 사실이었습니다. 이대로 두었다면 이후의 모든 지출 합산(Spend rollup) 과정에서 상당한 수치의 오차가 발생했을 것입니다.

저는 작업을 중단하고 수동으로 수정했습니다. 어떤 경고가 떠서가 아니었습니다. 정확히 이런 형태의 문제로 이전에 데인 적이 있었고, 그 경험이 튜토리얼에서는 결코 배울 수 없는 무언가를 가르쳐 주었기 때문입니다.

제가 이 이야기를 하는 이유는 7월 9일에 PMP(Project Management Professional) 시험 내용이 변경되며, 그 변경 사항이 바로 그 순간을 정조준하고 있기 때문입니다.

시험에서 무엇이 바뀌었나

처음으로 PMP는 AI를 선택 과목이 아닌 필수 콘텐츠로 지정했습니다. 비즈니스 환경(Business Environment) 도메인의 비중이 시험의 8%에서 26%로 늘어납니다. PMBOK 8이 기본 토대가 됩니다. 수수료는 8월에 인상됩니다.

세계 최대의 프로젝트 관리 기구가 이를 문서로 명시했습니다. AI 유창성(AI fluency)은 이제 전문 분야가 아니라 핵심 PM 역량이라는 것입니다. 만약 여러분이 "PM + AI"를 단순한 유행어로 취급해 왔다면, 이 역할을 인증하는 기관은 방금 여러분의 의견에 반대 의견을 낸 셈입니다.

저는 이것이 올바른 방향이라고 생각합니다. 또한 이는 실제로 에이전트를 통해 업무를 수행하는 모든 사람에게 흥미로운 지점이기도 합니다.

자격증은 실무가 아니다

객관식 시험은 여러분이 에이전트 워크플로우(Agentic workflow)가 무엇인지 알고 있다는 것을 인증할 수 있습니다. AI 리스크에 관한 교과서적인 답변을 선택하고, 비결정론(Non-determinism)을 정의하며, 올바른 감독 원칙을 명시할 수 있는지 확인할 수 있습니다.

그것은 인지(Awareness)이며, 인지는 인증할 가치가 있습니다.

하지만 시험이 도달할 수 없는 영역은 실제 업무를 수행할 때 작동하는 반사 신경입니다. 시험은 여러분이 실제 이해관계가 걸린 일을 에이전트에게 맡겼을 때, 에이전트가 경로를 벗어나는(Drift) 것을 지켜보며, 언제 에이전트가 행동하게 두고 언제 직접 개입해야 하는지에 대한 본능을 쌓았는지 인증할 수 없습니다. 여러분은 그 본능을 단순히 기억하는 것이 아닙니다. 그것은 획득하는 것이며, 그것을 얻는 유일한 방법은 그것이 절실히 필요한 상황을 겪는 것뿐입니다.

저는 너무 늦게 발견했던 그 공급업체 병합 사례를 통해 이 점을 배웠습니다.

AI 유창성이란 시험이 아닌 편집기(Editor) 상에서 나타나는 모습

실행 가능한 용어로 말씀드리겠습니다. 다음은 실무적인 버전이며, 이 중 그 어떤 것도 답안지에 마킹할 수 있는 질문이 아닙니다.

당신은 작업 기술서 (Statement of Work)처럼 에이전트의 범위를 설정합니다. "온보딩을 개선하라"와 같은 식은 안 됩니다. 에이전트가 무엇인가에 손을 대기 전에, 경계와 입력 및 출력 범위를 명확히 정의해야 합니다.

task: 2분기 공급업체 목록 조정
in_scope:
  - 정확히 일치하는 이름의 중복 제거
...

당신은 개입(Override)해야 하는 순간을 알고 있습니다. 저는 이 항목을 첫 번째로 꼽겠습니다. 거부권 (Veto)은 그것이 필요했던 경험을 통해서만 배울 수 있습니다.

당신은 출력 결과가 맞는지 여부뿐만 아니라, 무엇을 '하지 않았는지'를 읽어야 합니다. 건너뛴 공급업체, 손대지 않은 예외 케이스 (Edge case) 등을 말이죠.

당신은 사람이 실제로 검토할 수 있도록 작업을 설계합니다. 만약 검증하는 유일한 방법이 전체 과정을 처음부터 다시 하는 것이라면, 그 범위 설정 (Slice)은 잘못된 것입니다.

배포하기 전에 영향 범위 (Blast radius)를 산정합니다. 얼마나 잘못될 수 있는지, 누가 그 영향을 받는지에 대해, 라이브 서비스의 변경 사항을 다룰 때와 마찬가지로 사전에 답을 내놓아야 합니다.

다섯 번의 반복 연습. 모두 직접 얻어낸 것입니다. 시험 문제에는 단 하나도 나오지 않았습니다.

이것이 해고가 아닌 레벨업인 이유

이 글을 보고 공포를 느끼는 것은 방향이 잘못되었습니다. 자격증이 보급된다고 해서 역할이 줄어드는 것이 아니라, 기대되는 최소 수준 (Floor)이 높아지는 것입니다. 기관에서 AI 유창성 (AI fluency)을 기본 소양으로 지정할 때, 그것에 대해 읽기만 한 사람이 아니라 실제로 연습해 온 사람이 희소한 존재가 됩니다. '자격증을 가진 사람'보다 '자격증을 갖추고 실전 경험까지 쌓은 사람'의 집단이 훨씬 더 작습니다.

그러므로 저는 새로운 섹션을 공부하고 멈추지 않을 것입니다. 대신 그 섹션이 암시하는 반복 연습을 하러 갈 것입니다. 이번 주에 에이전트에게 실제 업무를 맡겨보고, 에이전트가 다소 불편한 수준까지 실행하게 내버려 둔 다음, 당신의 손이 키보드로 향하는 그 순간을 지켜보십시오. 그 순간이 바로 역량 (Competency)입니다. 그것은 성적표에는 절대 나타나지 않습니다.

이미 에이전트를 통해 업무를 처리하고 계신 분들께 묻습니다. 당신에게 개입(Override)하는 법을 가르쳐준 순간은 언제였나요? 그리고 시험이 대신 가르쳐줄 수 있었을까요?

Tags: #projectmanagement