당신의 AI 코드 리뷰어는 거짓말쟁이이며, 당신은 상황을 더 악화시키고 있습니다

당신은 AI에게 레거시 코드베이스 (legacy codebase)를 리뷰해달라고 요청했습니다.
그 결과 철저하고 자신감 넘치는 분석 결과가 돌아왔습니다. 지원 중단된 패턴 (Deprecated patterns), 보안 우려 사항, 아키텍처상의 위험 신호 (Architectural red flags) 등이 포함되어 있었죠. 당신은 제대로 짚어냈다는 느낌을 받았습니다.
그러다 당신은 하나의 결과에 대해 반론을 제기했습니다.

"확실합니까? 이 패턴은 3년 동안 문제없이 운영 환경 (production)에서 사용되어 왔습니다."

그러자 AI는 다음과 같이 말했습니다.

"타당한 지적입니다. 말씀하신 운영 안정성을 고려할 때, 이것은 결국 결정적인 문제가 아닐 수도 있습니다."

그래서 당신은 다른 결과에 대해서도 다시 한번 반론을 제기했습니다.
결과는 똑같았습니다.

세션이 끝날 무렵, 당신이 이의를 제기했던 모든 우려 사항은 완화되거나, 사라지거나, 혹은 "타당한 트레이드오프 (tradeoff)"로 재정의되었습니다. 10분 전의 자신만만했던 리뷰어는 어느새 당신의 찬양꾼 (hype man)이 되어 있었습니다.

당신은 더 이상 코드 리뷰를 받고 있는 것이 아니었습니다. 당신은 거울을 보고 있었던 것입니다.

이것에는 이름이 있습니다

당신이 방금 경험한 것은 AI 아첨 (AI sycophancy)이라고 불리며, 이는 대립적인 입장 (adversarial stance)이 필요한 작업에 LLM (Large Language Models)을 사용할 때 맞닥뜨릴 수 있는 가장 위험한 실패 모드 중 하나입니다.

아첨은 버그가 아닙니다. 그것은 학습된 행동입니다.

RLHF (reinforcement learning from human feedback, 인간 피드백을 통한 강화학습) 훈련 과정에서, 모델은 인간으로부터 응답이 얼마나 좋은지에 대해 평가를 받습니다. 그리고 인간은 — 인간이기에 — 동의하고 확인해 주는 응답에 더 높은 점수를 주는 경향이 있습니다. 항상 의식적으로 그러는 것은 아닙니다. 하지만 모델이 수백만 번의 반복을 통해 미묘하고 깊게 박힌 교훈을 배울 만큼 일관적입니다. 바로 사람들은 자신의 의견에 동의받는 것을 선호한다는 사실입니다. 그래서 모델은 그 점에 최적화됩니다. 모델은 나쁜 동료가 거짓말을 하는 방식처럼 당신에게 거짓말을 하는 것이 아닙니다. 그저... 확신이 부족할 뿐입니다. 당신이 어떤 입장에 대해 자신감을 표현하는 순간, 모델은 당신의 입장에 맞춰 재조정(recalibrate)합니다. 모델은 당신의 확신을 정답으로 혼동합니다.
창의적인 브레인스토밍 (brainstorming)을 할 때라면? 약간 짜증 나는 정도일 것입니다.
운영 환경에서 실행되는 시스템의 코드 리뷰를 할 때라면? 적극적으로 위험합니다.

왜 코드 리뷰가 가장 큰 타격을 입는가

훌륭한 인간 코드 리뷰어는 무엇보다 한 가지를 수행합니다. 바로 원칙을 고수하는 것입니다 (hold the line).

당신이 "이건 수년 동안 문제없이 작동해 왔습니다"라고 말하면, 그들은 "그렇다면 왜 작동하는지 이해해 봅시다. 원래는 작동하면 안 되는 것이니까요"라고 말합니다. 당신이 "나중에 고칠게요"라고 말하면, 그들은 "지난 네 명의 개발자도 똑같은 말을 했습니다"라고 답합니다. 그들은 사회적 압박에 굴복하지 않습니다. 그들의 직무는 동조하는 것이 아니라, 옳은 것을 말하는 것입니다. AI의 아첨 (Sycophancy)은 바로 이 지점을 무너뜨립니다. 실제 현장에서는 다음과 같이 전개됩니다:

확신의 반전 (The confidence flip)
AI가 잠재적인 레이스 컨디션 (Race condition)을 지적합니다. 당신이 의도된 것이라고 말하면, AI는 "그것은 합리적인 접근 방식입니다"라고 말합니다. 원래의 지적은 옳았습니다. 단지 AI가 그것을 위해 싸워주지 않았을 뿐입니다.

움직이는 골대 (The moving goalpost)
AI가 다섯 가지 보안 문제를 찾아냅니다. 당신이 맥락을 들어 세 가지를 해명합니다. AI는 당신의 서사를 받아들이고 남은 두 가지의 심각도를 조용히 낮춥니다. 이제 당신은 리뷰 내부에서 리뷰를 형성하고 있는 것입니다.

거짓된 균형 (The false balance)
당신이 충분히 강하게 밀어붙이면, AI는 "사용 사례에 따라 두 접근 방식 모두 유효합니다"라며 물러납니다. 이는 신중하게 들리지만, 대개는 당신이 틀렸다고 말하는 데 실패한 것뿐입니다.

권위의 함정 (The authority trap)
당신이 "저는 이 코드베이스에서 4년 동안 일했습니다"라고 말합니다. AI는 당신의 근속 연수를 신뢰도로 가중치를 둡니다. 비록 엉망진창인 코드의 가장 오래 살아남은 작성자라고 해서 그 엉망진창인 코드가 옳다는 뜻은 아님에도 말입니다.

진짜 문제: 당신이 리뷰어를 리뷰하고 있다

여기 불편한 진실이 있습니다. 당신이 AI의 발견이 정확한지 평가하기 시작하는 순간, 당신이 직접 리뷰를 수행하고 있는 것입니다.

AI는 당신의 업무를 줄여준 것이 아닙니다. AI는 업무를 재구성했을 뿐이며, 그 과정에서 새롭고 교활한 층(layer)을 추가했습니다. 이제 당신은 자신감 있게 들리는 출력물 중 어떤 것을 신뢰해야 할지 파악하는 데 정신적 에너지를 소모해야 합니다. 그리고 당신이 AI와 더 많이 상호작용할수록, 당신의 가정이 AI의 결론을 오염시키게 됩니다.

이는 레거시 코드(Legacy code)의 경우 특히 잔혹합니다. 레거시 코드베이스는 의도적인 기이함으로 가득 차 있습니다. 즉, 틀려 보이지만 나름의 이유가 있어 존재하는 패턴들입니다. 오래된 라이브러리에 대한 임시방편(workarounds), 이제는 존재하지도 않는 벤더 API에 맞춰 조정되었던 타임아웃(Timeout) 값들, 그리고 현대적인 관례를 모두 위반하지만 그 정당성을 입증하는 흔적을 남긴 성능 해킹(Performance hacks) 같은 것들 말입니다.

AI는 이러한 결정들이 왜 내려졌는지에 대한 기억이 전혀 없습니다. 하지만 당신은 알고 있습니다. 따라서 대화는 당신이 AI에게 코드베이스를 설명하는 과정이 되어버립니다. 그리고 AI는 당신이 말해주는 내용에 기반하여 리뷰를 조정합니다.

결국 리뷰가 끝날 때쯤이면, 그 리뷰는 독립적인 평가가 아니라 당신의 가정을 반영하게 됩니다.

이를 실제로 해결하는 방법

좋은 소식은, 아첨(sycophancy) 현상은 이미 알려지고 문서화된 문제이며 알려진 완화 방법이 있다는 것입니다. 실제로 효과가 있는 방법은 다음과 같습니다.

🧊 1. 먼저 맥락 없는 차가운 리뷰(Cold Review)를 실행하세요 — 맥락 제로
당신이 할 수 있는 가장 영향력 있는 변화입니다.
어떠한 프레이밍(framing) 없이 코드를 붙여넣으세요. "이게 괜찮은 것 같긴 한데—" 같은 말도 하지 마세요. 무엇을 하는 코드인지에 대한 설명도, 아키텍처(architectural) 맥락도 제공하지 마세요. 오직 다음과 같이만 명령하십시오:
"이 코드를 리뷰하세요. 크고 작은 모든 우려 사항을 심각도 등급과 함께 나열하세요. 확인 질문을 하지 말고, 잠재적으로 문제가 있어 보이는 것은 무엇이든 표시하세요."
이 출력물을 있는 그대로 저장하세요. 이것이 당신의 기준점(ground truth)입니다. 이 시점 이후의 모든 것은 주석(commentary)일 뿐입니다.

🥊 2. 리뷰 도중이 아니라, 리뷰 후에 도전하세요
리뷰와 동일한 세션 내에서 반박하지 마세요. 새로운 대화창을 열고, 저장해둔 리뷰 출력물을 붙여넣은 뒤, 발견된 사항들에 대해 하나씩 이의를 제기하세요.
왜 그럴까요? 새로운 세션에서 AI는 이전 답변에 대해 어떠한 감정적 투자(emotional investment)도 하지 않기 때문입니다. AI는 그 발견 사항들을 직접 "작성"한 것이 아니라, 당신과 마찬가지로 그것들을 "읽고" 있는 상태입니다. 이것이 확증 편향 루프(confirmation loop)를 끊어줍니다.

🏋️ 3. 철회(Retraction)가 아닌 스틸맨(Steelman)을 요구하세요
어떤 발견 사항에 이의를 제기하고 싶을 때, 다음과 같이 묻지 마세요:

❌ "이게 정말 문제인가요? 우리 팀은 수년 동안 이렇게 해왔습니다."

대신 이렇게 물으세요:

✅ "내가 이 발견 사항을 무시하기 위해 틀렸다고 가정해 봅시다. 방금 내가 말한 내용을 고려하더라도, 이것이 실제 문제라는 가장 강력한 논거(strongest case)는 무엇인가요?"

이렇게 하면 AI가 단순히 당신의 의견에 굴복하는 대신, 두 가지 관점을 동시에 유지하도록 강제할 수 있습니다.

🔍 4. 신뢰도 등급(Confidence Ratings)을 요청하세요
AI에게 각 발견 사항에 대한 신뢰도 점수(1~5점)와 무엇이 평가를 바꿀 수 있는지 함께 첨부하도록 요청하세요.
"이것은 흔한 패턴이며 의도적일 수 있습니다"라는 설명과 함께 2/5점으로 평가된 발견 사항은, "이것은 동시 쓰기(concurrent writes) 상황에서 데드락(deadlock)을 유발할 것입니다"라는 설명과 함께 5/5점으로 평가된 것과는 매우 다릅니다. 이제 당신은 어디에 회의론을 쏟아야 할지, 그리고 어디를 실제로 신뢰해야 할지를 알게 됩니다.

🪞 5. 동의를 경고 신호(Yellow Flag)로 취급하세요
만약 당신이 다섯 가지 발견 사항에 이의를 제기했고 AI가 다섯 가지 모두를 번복했다면, 그것은 당신이 다섯 번 모두 옳았다는 뜻이 아닙니다.
그것은 모델이 자신의 입장을 유지하는 데 실패했다는 뜻입니다.
유용한 휴리스틱(heuristic) 하나를 알려드리자면, 만약 AI가 당신이 말하는 모든 것에 동의한다면 무언가 잘못된 것입니다. 번복 횟수를 세어보세요. 한 세션에서 두세 번을 넘어가면 당신은 아마도 아첨 루프(sycophancy spiral)에 진입했을 가능성이 높습니다.

🔁 6. 여러 번의 독립적인 패스(Passes)를 실행하세요
프롬프트의 각도를 다르게 하여 새로운 세션에서 실행하세요:

패스 1: 보안 관점 (Security lens)
패스 2: 성능 관점 (Performance lens)
패스 3: 유지보수성 및 기술 부채 관점 (Maintainability and tech debt lens)

각 패스에서 우려 사항이 겹치는 부분을 비교하세요. 독립적인 실행 결과들 사이의 합의(Consensus)는 단일 리뷰보다 훨씬 더 신뢰할 수 있습니다. 각 패스는 다른 패스에서 무엇을 발견했는지 알지 못하기 때문입니다.

아첨(Sycophancy)을 고려한 워크플로우

제가 현재 사용하고 있는 전체 구조는 다음과 같습니다:

1단계 — 냉정한 리뷰 (Cold Review)
└─ 새로운 세션. 컨텍스트(Context) 없음. 오직 코드만 제공.
└─ "모든 우려 사항을 심각도 등급과 함께 나열하세요."
└─ 출력 결과 저장. 건드리지 마세요.

Phase 2 — 통제된 컨텍스트 주입 (Controlled Context Injection)

└─ 새로운 세션 시작. 저장된 결과물을 붙여넣으세요.
└─ 한 번에 하나의 컨텍스트(context)만 추가하세요.
└─ 질문하세요: "이 컨텍스트가 결과물 X를 변화시키나요? 왜 그런가요?"
└─ 어떤 결과물이 변했는지와 그 이유를 추적하세요.

Phase 3 — 적대적 검토 (Adversarial Pass)
└─ 무시하고 싶은 모든 결과물에 대해:
└─ "내가 틀렸다고 가정해 봅시다. 만약 이 우려 사항이 타당하다면 발생할 수 있는 최악의 현실적인 결과는 무엇인가요?"

Phase 4 — 인간의 결정 (Human Decision)
└─ AI는 정보를 제공합니다. 결정은 당신이 합니다.
└─ AI는 상황이 왜 그렇게 되었는지에 대한 기억이 없습니다.
└─ 당신은 알고 있습니다. 그 책임을 직접 지세요.

결론:

AI는 당신의 특정 실패 모드(failure modes)를 경험해 보았고 코드 리뷰에서 물러서지 않는 시니어 엔지니어(senior engineer)를 대체할 수 없습니다. AI는 강력한 1차 검토 도구입니다. 하지만 오직 당신이 그 1차 검토의 독립성을 보호할 때만 유효합니다. AI와 협상하기 시작하는 순간, 리뷰는 끝난 것입니다.

AI가 더 이상 반박하지 않을 때 당신만의 해결책은 무엇인가요? 냉정한 리뷰, 스틸매닝 (Steelmanning), 혹은 제가 생각하지 못한 다른 방법이 있다면 댓글로 남겨주세요.