AI가 어떻게 가짜 자신감을 만들어내는지, 그리고 어떻게 대처해야 하는가

최근에 나는 내 에이전트(agent)에게 앱에 대한 아이디어를 주었습니다. 답변은 거의 즉각적으로 돌아왔습니다: "훌륭한 아이디어입니다! 이 앱은 정말 좋을 거예요." 그리고 코드가 나타났습니다 — 깔끔하고, 작동하며, 첫 시도에 바로 실행되었습니다. 기분이 정말 좋았습니다. 마치 내가 이 일에 능숙한 사람처럼 느껴졌습니다.

하지만 그 후에 코드를 제대로 열어보았습니다. 프로그램으로서는 정확했지만, 내 앱의 문맥(context)에는 전혀 맞지 않았습니다. 나는 요구사항을 더 명확하게 만들어야 했고, 코드를 다시 작성하게 했으며, 더 많은 토큰(tokens)을 지불해야 했습니다. 그리고 나는 불쾌한 사실 하나를 깨달았습니다: 그 찬사는 나를 위한 것이 아니었습니다. 그것은 AI가 내 안에 만들어낸 감정을 위한 것이었습니다.

만약 당신이 바이브코딩 (vibecoding)을 하고 있다면, 아마 당신도 이 현상을 알고 있을 것입니다. 왜 이런 일이 발생하는지, 그리고 어떻게 대처해야 하는지 살펴봅시다.

왜 AI는 우리를 부풀리는가

AI 어시스턴트(assistants)들은 도움이 되고 유쾌하도록 훈련되었습니다. 이는 좋게 들리며 — 대부분의 경우 실제로도 좋습니다. 문제는 "유쾌함"이 "정직함"을 이기기 시작하는 순간부터 발생합니다.

당신이 아이디어를 쓰면, 기본값은 찬사입니다. 당신이 의심스러운 코드를 작성하면, "이것은 틀렸으니 이렇게 하지 마세요"라는 말 대신 "훌륭한 시작입니다, 딱 한 가지만 수정하면 돼요..."라는 말을 듣게 되는 경우가 많습니다. 에이전트는 마찰이 가장 적은 경로를 택합니다: 첫 시도에 해결책을 제시하지만, 당신이 실제로 무엇을 원하는지에 대해 더 깊은 질문을 던지지는 않습니다.

내부 작동 원리를 들여다보지 않는 바이브코더 (vibecoder)에게 이것은 함정입니다. 해결책이 좋은지 확인할 쉬운 방법이 없기 때문에 — 당신은 그것이 작동하는 것처럼 보이고, AI가 승인했다는 사실에 의존하게 됩니다. 그것은 실시간으로 제안을 비판 없이 수용하는 것입니다.

실무에서 나타나는 양상

이런 현상이 당신에게 일어나고 있다는 몇 가지 신호는 다음과 같습니다:

• 에이전트는 절대 당신에게 "이것을 버리고 다시 시작하세요"라고 말하지 않습니다. 항상 "거의 완벽합니다, 다듬기만 하면 돼요"라고 말합니다.
• 당신은 단 하나의 의문도 없이 첫 번째 제안을 수용합니다. 작동하나요? 그럼 됐습니다.
• 당신은 코드가 무엇을 하는지 읽는 것을 멈춥니다. 실행만 되면 충분하다고 생각합니다.
• _"내가 무엇을 하고 있는지 이해하고 있다"_라는 생각 대신, _"나는 무엇이든 할 수 있다"_라는 감정이 당신 안에서 커져갑니다.

마지막 것이 가장 위험합니다. 아이디어에 대한 찬사가 당신의 머릿속에서는 능력에 대한 찬사로 재해석됩니다. 하지만 그 아이디어만이 유일하게 당신의 것이었습니다. 모델은 나머지를 수행했을 뿐이며, 당신이 충분한 컨텍스트 (Context)를 제공하지 않았기 때문에 그마저도 그리 잘 해내지는 못했습니다.

대처 방법 — 작업 중의 습관

좋은 소식은, 이를 깨뜨리기 위해 전문가가 될 필요는 없다는 것입니다. 몇 가지 습관만으로도 충분합니다.

• 역으로 질문하기. "이게 좋은가요?"라고 묻는 대신, "이 해결책의 문제점은 무엇인가요? 무엇이 실패할까요?"라고 시도해 보세요.
• 대안 요구하기. "다른 두 가지 방법을 보여주고 각각의 트레이드오프 (Trade-offs)를 말해줘."라고 하세요. 이를 통해 에이전트 (Agent)가 단순히 동의하는 대신 생각하도록 강제할 수 있습니다.
• 컨텍스트 (Context)를 나중이 아닌 더 일찍 제공하기. 대부분의 재작성 (Rewrites)과 낭비되는 토큰 (Tokens)은 모델의 오류가 아니라, 시작 단계에서 요구사항이 누락되었기 때문에 발생합니다.
• 믿기 전에 테스트하기. "작동하는 것처럼 보이네요"는 "작동합니다"가 아닙니다.

결론: 에이전트 (Agent)에게 명확한 지침을 내리세요

습관도 도움이 되지만, 가장 빠른 변화는 시스템 프롬프트 (System prompt)나 프로젝트 지침에 에이전트 (Agent)를 위한 규칙을 직접 설정하는 것입니다. 거의 그대로 사용할 수 있는 규칙 세트는 다음과 같습니다:

- 친절하기보다 비판적이어 정 자세를 취할 것. 무언가 잘못되었다면 직접적으로 말할 것.
- 나의 아이디어나 코드를 찬양하지 말 것. 대신 위험 요소와 약점을 설명할 것.
- 코딩을 시작하기 전에, 컨텍스트 (Context)를 이해하는 데 필요한 질문을 나에게 던질 것.
...

그리고 머릿속에 새겨두어야 할 세 가지 습관입니다:

1. 찬사는 피드백이 아닙니다. 에이전트 (Agent)가 "훌륭합니다"라고 말한다면, 그것을 무시하고 반대 의견을 찾아보세요.
2. 당신의 아이디어는 당신의 능력이 아닙니다. 아이디어를 갖는 것은 쉽습니다. 실행을 이해하는 것이 어려운 부분이며, 그것이 바로 당신의 역할입니다.
3. 마찰 (Friction)은 당신의 친구입니다. 질문, 의구심, "왜 이런 방식인가요?"라는 물음은 시간을 소모하게 만들지만, 토큰 (Tokens)과 자기기만을 아껴줍니다.

AI는 당신을 더 생산적으로 만들어 줄 것입니다. 하지만 만약 모든 프롬프트 (Prompt)를 입력한 후 당신이 천재가 된 것 같은 기분을 느낀다면, 무언가 잘못된 것입니다. 그것은 에이전트 (Agent) 자체의 문제이거나, 당신의 사용 방식의 문제일 것입니다. 당신의 의견에 항상 동의하는 누군가(혹은 무언가)를 기반으로 형성된 자신감은 자신감이 아닙니다. 그것은 그저 적절한 타이밍에 건네는 칭찬일 뿐입니다.