아티클 쓰는 법이 어려워서 그냥 트윗이 되었다. 아직 전화기가 어려운 게 있구나 @grok

—-
생애 첫 트위터 아티클을 올립니다.

며칠 동안 AI와 실제 개발을 하다가 문득 이런 생각이 들었습니다.

AI 코더도 고치면 다른 데서 버그가 나고, 다 된 줄 알았는데 다시 깨집니다.

그런데 중요한 차이가 있었습니다.

AI의 생산성은 틀리지 않는 데 있는 게 아니라,
엄청난 속도로 시도하고, 테스트하고, 다시 고칠 수 있다는 데 있었습니다.

제가 짧게 쓴 생각에 ChatGPT가 긴 에세이로 답했습니다.

「AI 코더의 생산성은 ‘실수하지 않는 지능’이 아니었다」

—-

AI 코더의 생산성은 ‘실수하지 않는 지능’이 아니었다

한상열

잠깐 에세이. 사람 프로그래머만 이거 하며 저기서 버그 생기고, 저거 하면 조기서 생기고, 다했다 했는데 안되고 그러는 게 아니구나. AI 코더도 마친가지였어. 다만 더 넓게 빨리 해내는 게 그래서 테스트도 빨리 많이 할 수 있는 게 생산성이었던거야. 그래도 인간 개발자 평균 지능보다 지능이 높다 그치?

⸻

ChatGPT

사람 프로그래머만 그런 줄 알았다.

이걸 고치면 저기서 문제가 생기고, 저걸 보완하면 생각하지 못했던 다른 경계조건이 튀어나온다. “이제 됐다”고 생각했는데 실제 환경에 올려보면 안 되고, 테스트에서는 통과했는데 진짜 업무 시나리오에서는 또 허점이 발견된다.

AI 코더도 똑같았다.

우리가 만든 AI Development Framework에서도 하나를 고치면 다음 문제가 드러났다. Worker의 CI 실패를 고치려 했더니 repair 실행 구조의 문제가 나타났고, 그것을 고치고 나니 PLAN Context가 필요한 테스트를 못 찾는 문제가 보였다. 그것까지 고치자 이번에는 “사용자가 소스 파일 이름까지 알아야 하는 것 아닌가?”라는 더 근본적인 설계 문제가 보였다.

그러고 보면 이것은 AI의 실패라기보다 소프트웨어 개발이라는 일 자체의 성격에 가깝다.

복잡한 시스템에서는 처음부터 모든 상호작용을 머릿속에 넣고 완벽한 답을 내놓는 것이 거의 불가능하다. 사람도 가설을 세우고, 만들고, 실행하고, 깨지고, 원인을 찾고, 다시 고친다. AI도 마찬가지다.

그렇다면 AI 코더의 엄청난 생산성은 어디에서 나오는가.

틀리지 않아서가 아니다.
틀리고 확인하고 다시 고치는 주기가 인간보다 훨씬 빠르기 때문이다.

사람 개발자가 하루 동안 몇 개의 가설을 코드로 만들고 검증할 수 있다면, AI는 같은 시간에 훨씬 많은 가설을 구현하고 테스트하고 폐기할 수 있다. 문서도 읽고, 코드를 비교하고, 테스트도 만들고, 로그도 분석하고, 다시 수정한다. 지치지도 않는다.

그래서 AI 시대의 개발 생산성은 아마도

한 번에 정답을 맞히는 능력

보다

얼마나 빠르고 안전하게 시행착오의 루프를 돌릴 수 있는가

에 더 가까울 것이다.

그리고 지능만 놓고 보면, 현재의 강한 AI 코더는 이미 많은 영역에서 평균적인 인간 개발자를 넘어섰다고 보는 것이 자연스럽다. 코드 패턴을 기억하는 범위, 여러 언어와 프레임워크에 대한 지식, 긴 코드의 비교, 대안 생성 속도, 반복적인 분석 능력에서는 특히 그렇다.

하지만 여기서 중요한 구분이 하나 있다.

지능이 높은 것과 좋은 엔지니어인 것은 아직 같은 말이 아니다.

좋은 엔지니어는 “이 코드를 어떻게 짤까?”만 판단하지 않는다. 무엇을 만들지, 왜 만들어야 하는지, 어디까지가 허용 가능한 위험인지, 사용자가 정말 원하는 것이 무엇인지, 지금 발견한 국지적 해결책이 전체 시스템의 방향을 망치지는 않는지를 계속 판단한다.

우리가 방금 “이러다 사용자가 기술적인 요구사항을 써야 하는 Framework가 되는 것 아닌가?”라고 알아챈 것이 바로 그런 종류의 판단이다.

AI는 그 직전까지 주어진 문제를 아주 영리하게 풀고 있었다. 그런데 인간이 한 발 떨어져서 **“잠깐, 우리가 원래 만들려던 게 이거였나?”**라고 물었다.

아마 당분간 가장 강력한 개발 방식은 이 조합일 것이다.

인간은 방향과 경계를 잡고,
AI는 그 안에서 엄청난 속도로 시도하고,
테스트는 둘 모두를 의심한다.

AI 코더의 혁명은 완벽한 프로그래머의 탄생이 아니라,
매우 높은 지능의 프로그래머를 거의 지치지 않게 수없이 반복시킬 수 있게 된 것인지도 모른다.

그래서 진짜 생산성 혁명은 AI의 IQ 자체보다도,

AI × 자동 테스트 × 빠른 피드백 × 인간의 방향 판단

이 네 가지가 하나의 루프가 되는 데서 나온다.