【전 Yahoo! 엔지니어의 시점】 Claude Mythos의 '미토스 문제'에서 배우는, AI 스크리닝이 현장의 공수를 붕괴시키는 구조와 대책

전 Yahoo! JAPAN 엔지니어 야마다 켄타로입니다.

현재는 부유층이나 경영자를 대상으로 완전 격리형 로컬 AI 환경(Private AI)을 구축하는 일을 하고 있습니다.

현재 AI·보안 업계에서 큰 논란을 불러일으키고 있는, AI를 이용한 취약점 자동 탐지 툴을 둘러싼 소동을 알고 계십니까?

OSS(Open Source Software)의 초중요 컴포넌트인 curl의 리드 개발자에게 AI가 탐지한 취약점 보고가 전달되었으나, 정밀 조사 결과 그 대부분이 오탐(False Positive)이었으며, "자사 AI의 우수성을 어필하기 위한 마케팅에 현장이 이용되었다"라고 개발자가 격분한 사건이 화제가 되었습니다.

이 문제는 오픈소스 세계만의 이야기가 아닙니다. 일반 기업의 DX나 AI 보안 툴 도입 현장에서도 완전히 동일한 구조의 비극이 일어나고 있습니다. 이번에는 전직 엔지니어의 시점에서, 이 문제가 현장에 가져오는 '공수 붕괴(Man-hour Collapse)'의 실태와 관리자가 취해야 할 방어책에 대해 고찰해 보겠습니다.

AI를 이용한 코드 스캔이나 정적 분석(Static Analysis) 툴은 버튼 하나로 수만 줄의 코드를 검증하고 대량의 알람을 출력해 줍니다. 언뜻 보기에는 생산성이 높아진 것처럼 보이지만, 현장의 엔지니어링 관점에서 보면 여기에는 큰 함정이 있습니다.

조직에서 일하는 엔지니어의 공수는 쿼터(Quarter, 분기)별 커밋먼트(Commitment, 신기능 개발이나 시스템 개수 등)로 꽉 짜여 있습니다. 그곳에 진위가 의심스러운 'AI가 찾아낸 취약점 리포트'가 돌발적인 '끼어들기 태스크'로 내려온다면 어떻게 될까요?

• 리포트의 컨텍스트(Context)를 이해한다
• 스테이징(Staging) 환경에서 재현 코드를 작성해 본다
• 실제로 취약점으로 성립하는지 검증한다

이러한 '분류 작업'을 해내는 것만으로도 몇 시간에서 하루, 양에 따라서는 며칠간의 개발 리소스가 순식간에 사라집니다. AI가 1초 만에 생성한 노이즈의 뒷수습을 위해, 살아있는 엔지니어의 물리적인 라이프(Life, 공수)가 깎여 나가는 것이 현실입니다.

나아가 현장의 동기부여를 박살 내는 것은 기업의 '평가 제도의 뒤틀림'입니다.

기초(期初)에 약속한 '신규 기능 출시'나 '서비스 매출과 직결되는 시스템 개수'는 달성해야 비로소 평가 시트의 점수가 됩니다. 반면, 위에서 갑자기 내려온 'AI 툴의 오탐 분류'나 '우선순위가 낮은 버그 수정'은 밤늦게까지 잔업하며 아무리 해내더라도 이번 분기의 가점 평가로 이어지지 않는 경우가 대부분입니다.

기존 태스크의 뺄셈(스케줄링 재조정)이 없고, 돌발 대응에 대한 덧셈(가점 인센티브)도 없다

이 상태에서 "보안은 최우선이니까"라는 정론만으로 업무를 떠넘기면, 엔지니어에게는 그저 불합리한 '무의미한 노동'으로 느껴지며 조직에 대한 인게이지먼트(Engagement)는 순식간에 부패합니다.

보안은 물론 중요합니다. 하지만 엔지니어링 자원은 유한하며, 비즈니스에는 반드시 우선순위(Priority)가 존재합니다.

AI가 득의양양하게 탐지해 오는 버그의 상당수는 "특정한 이상한 에지 케이스(Edge Case)가 여러 겹 겹치지 않으면 절대로 발생하지 않는 동작" 등, 실제 프로덕션(Production) 환경에서는 우선순위가 극히 낮은 컨텍스트인 경우가 많습니다.

내일 당장 원격 코드 실행(RCE)이 되어 고객 정보가 유출될 만한 치명적인 홀(Hole)이라면 말 그대로 잠도 자지 않고 고쳐야 합니다. 하지만 "악의적인 사용자가 극단적인 시도를 방대하게 반복해야 겨우 한 번 에러가 발생할지도 모르는" 수준의 동작 때문에, 현재 진행 중인 가장 중요한 코어 개발을 중단시키면서까지 리소스를 할애하는 것은 경영·기술 전략으로서 코스트 퍼포먼스(Cost Performance)가 최악입니다.

이번 소동의 본질은 툴 제공 기업의 "대단하지? 마케팅"을 위한 벤치마크(Benchmark, 실증 실험 도구)로서, 전 세계 현장 엔지니어의 귀중한 공수가 무임금에 가까운 형태로 소비된다는 점에 있습니다.

일반 기업이 AI 툴이나 보안 스캐너를 도입할 때, 관리자는 툴에 이용당하는 것이 아니라 툴을 돌리는 '인간'을 가장 먼저 보호해야 합니다. 구체적으로는 다음 세 가지를 반드시 세트로 설계해야 합니다.

• 트리아지(Triage)의 철저화
  AI의 경고를 그대로 믿고 떠넘기지 말고, 전문가가 "정말로 지금 고쳐야 할 치명적인 것인가"를 냉철하게 판단하여 불필요한 노이즈는 현장에 전달하기 전에 걸러낸다.
• 리소스(기존 태스크)의 뺄셈
  대응을 지시할 경우에는 엔지니어가 현재 맡고 있는 스프린트(Sprint) 태스크를 물리적으로 줄여서, 검증 및 수정을 위한 시간을 공식적으로 확보한다.
• 명확한 인센티브(가점 평가) 설계
  돌발적인 보안 대처나 노이즈 분류 작업에 대해, 평가 시트상에서 명확하게 플러스 평가가 되는 프레임워크를 마련한다.

그들의 리소스와 멘탈에 대한 존중이 결여된 DX(디지털 전환)나 AI 도입은, 확실하게 조직을 내부로부터 붕괴(이직의 폭풍)로 이끕니다. 제 경험상, 이렇게 된 조직에서는 시장 가치가 높은 우수한 인재부터 차례대로 소리 없이 떠나갑니다.

도구(AI)가 진보하여 대량의 과제를 찾아낸다 하더라도, 그것을 마지막에 정밀하게 검토하고 아름답고 견고한 코드로 수정하는 것은 '피가 통하는 인간 엔지니어'입니다.

거대 테크 기업이 쥐고 있는 규칙이나 포지션 토크(Position Talk), 툴의 '대단하지?'라는 식의 과시적 홍보에 휘둘려 현장을 소모시키는 것은 스마트한 경영이라고 할 수 없습니다.

앞으로의 AI 시대, 진정으로 승리하는 조직이란 'AI를 도입한 조직'이 아니라, 'AI의 노이즈로부터 자사의 우수한 엔지니어를 적절히 보호하고, 코어 개발(Core Development)에 집중하게 만들 수 있는 조직'이 아닐까요.

야마다 켄타로 / 프라이빗 AI 랩(Private AI Laboratory)

미야기현 센다이시 출신. 대학 졸업 후 야후 주식회사(Yahoo! JAPAN)에 입사하여 대규모 시스템의 개발 및 운용에 종사. 독립 후, 거대 테크 기업의 검열이나 정보 유출, 의도(思惑)로부터 완전히 차단된 로컬 환경에서 동작하는 '완전 격리형 프라이빗 AI(지능의 요새)'를 부유층과 투자자, 경영자들을 대상으로 제공 중.