어제 오후, 저는 실제 디버깅 상황에서 AI 에이전트들의 동작을 평가하고 있었습니다. 특히 OpenCode의 Big Pickle을 사용하여 인간의 개입 없이 얼마나 자율적인지를 측정했습니다.

사례

제가 CARTERAS라고 부르는 엔티티를 디버깅하던 중이었습니다. 콘솔에 나타난 에러는 다음과 같습니다:

Uncaught TypeError: Cannot set properties of null (setting 'value')
    at openExportModal (main.js:139:23)
    at HTMLButtonElement.<anonymous> (main.js:194:5)

원인은 해당 컨텍스트에 더 이상 존재하지 않는 DOM 요소를 참조하고 있는 주석 처리된 한 줄의 코드였습니다:

// domSoporte.value = '';

대단한 것도 아니었습니다. 스택 트레이스 (stack trace)를 보고 경험 있는 개발자라면 2분 안에 해결할 수 있는 유형의 에러였습니다. 변수가 다른 모듈에서 오고 있고, 이 컨텍스트에서 해당 요소가 DOM에 없다는 것만 확인하면 끝나는 문제였습니다.

Big Pickle (OpenCode)에서 일어난 일

저는 에러를 보여주고 수정을 요청했습니다. 그 이후 벌어진 일은 가관이었습니다:

1. 에러와 별 상관이 없어 보이는 코드를 삭제하기 시작했습니다.
2. 브라우저 탓을 했습니다.
3. 파일 전체를 재구조화할 것을 제안했습니다.
4. 여러 번의 실패 끝에, GitHub에서 복사본을 복구해야 한다고 결론지었습니다.
5. 복구를 진행했습니다. 하지만 시스템을 다시 망가뜨렸습니다. 해결하지 못했습니다.

다른 에이전트들에게도 동일한 사례를 전달했습니다

• DeepSeek: 역시 해결하지 못했습니다.
• Claude (Anthropic): 너무 많은 시간을 소모하더니 결국 컨텍스트 제한 (context limit)으로 인해 거절했습니다.
• OpenAI: 에러를 찾을 수 없다고 말했습니다.

네 명의 서로 다른 에이전트, 명확하고 명시적인 동일한 스택 트레이스, 그리고 동일한 결과: 개발자가 두 줄만 읽어도 해결할 수 있는 문제를 그 누구도 해결하지 못했습니다.

이번이 처음은 아닙니다

동일한 AI가 저에게 아키텍처, 모듈, 통합 등 모든 것이 일관된 인상적인 견고함을 가진 완전한 시스템을 처음부터 구축해 주기도 했습니다. 그러다 스택 트레이스를 보고 경험 있는 사람이라면 몇 분 안에 해결할 수 있는 문제에서 발을 헛디딥니다. 격차는 작업의 복잡성에 있는 것이 아니라, 다른 곳에 있습니다.

진짜 질문

AI에게 "사소한(trivial)" 것이란 무엇일까요? 분명 우리에게 의미하는 것과는 다릅니다. 완전한 시스템을 구축하는 것은 생성 (generation)의 문제입니다. 즉, 알려진 패턴을 따르는 방대한 양의 일관된 텍스트를 만들어내는 것이며, 이는 모델이 빛을 발하는 영역입니다. 반면 디버깅 (debugging)은 진단 (diagnosis)의 문제입니다. 가설을 배제하고, 어디를 먼저 살펴봐야 할지에 대한 직관을 가지며, DOM에서의 null이 브라우저의 버그가 아니라 다른 모듈에 대한 참조를 잃어버린 것이라는 사실을 아는 과정입니다. 그것은 적어도 현재로서는 여전히 인간의 영역입니다.

이 직업군에서 인간은 여전히 대체하기 어려운 존재로 남아 있습니다.