AI 답변을 검토 없이 그대로 전달하는 패턴과 이것이 엔지니어링 팀에 의미하는 바

이 콘텐츠에서는 orchidfiles.com에 기술된 한 가지 패턴을 분석해 보겠습니다. 바로 인간의 답변 과정에서 AI를 중개자로 사용하는 패턴으로, 생성된 콘텐츠를 비판적인 검토 없이 그대로 전달하는 것을 의미합니다. 이 패턴은 포럼, 코드 리뷰 (code reviews), 지원 티켓 (support tickets) 등에서의 기술적 교류에 의존하는 엔지니어링 팀에게 실질적인 영향을 미칩니다.

포스트가 기록하고 있는 내용

저자는 세 가지 구체적인 상황을 설명합니다.

첫 번째로, GitHub에서 악성 리포지토리 (malicious repositories)에 대한 도움을 구하던 중, 동일한 문제에 대한 여러 토론에서 AI가 생성한 답변이 토씨 하나 틀리지 않고 (verbatim) 복사되어 붙여넣어진 것을 발견했습니다. 참여자 중 누구도 자신이 게시하는 내용을 읽지 않은 것으로 보였습니다.

두 번째로, 한 고객이 기술적인 질문에 답변하면서 원래 질문과 관련 없는 정보가 담긴 ChatGPT 스크린샷을 보내왔습니다. 이러한 행동은 콘텐츠에 대한 검토 없이 동일한 대화 내에서 반복되었습니다.

세 번째로, 저자는 Reddit에서 여러 메시지를 주고받은 후에야 자신이 AI 에이전트 (AI agent)와 상호작용하고 있었다는 사실을 깨달았습니다.

텍스트는 이 패턴을 다음과 같이 요약합니다:

"AI와 대화하는 것에 지쳤습니다. 실제 사람과 대화하고 싶습니다. 하지만 사람들과 대화할 때조차, 그들은 내 질문을 AI에게 전달하고 AI의 답변을 나에게 보냅니다."

— orchidfiles.com

즉, 핵심 문제는 AI 사용 그 자체가 아니라, 출력값 (output)을 전달하기 전 비판적인 검토가 결여되어 있다는 점입니다.

기술적 맥락에서 이것이 중요한 이유

엔지니어링 환경에서 기술적 교류는 비공식적인 대화와는 다른 무게를 가집니다. 내부 포럼에서의 잘못된 답변은 아키텍처 (architecture) 결정에 영향을 미칠 수 있습니다. 지원 티켓에서의 검토되지 않은 답변은 잘못된 전제를 바탕으로 수 시간의 디버깅 (debugging)을 유발할 수 있습니다. 코드 리뷰 (code review)에서 복사된 답변은 아무도 출처를 의심하지 않은 채 여러 리뷰어 (reviewers)를 통과할 수 있습니다.

AI의 출력값은 종종 잘 구성된 텍스트의 형태를 띠고 있기 때문에 문제는 더욱 증폭됩니다. 글쓰기의 표면적인 품질은 기술적 정확성의 신호가 아니지만, 답변을 받는 사람에게는 그렇게 읽힐 수 있습니다.

엔지니어링 팀이 수립할 수 있는 사항

문제는 AI 도구의 사용을 금지하는 것이 아니라, 결과물 (outputs)을 전달하기 전에 검토 기준을 수립하는 것입니다.

고려해 볼 만한 몇 가지 실천 방안은 다음과 같습니다:

• 생성된 콘텐츠를 공유하기 전에 검토할 것, 특히 답변이 의사 결정에 영향을 미칠 수 있는 기술적인 채널에서는 더욱 그러함
• 답변이 AI에 의해 생성되었거나 AI의 도움을 받았음을 명시하여, 수신자가 적절한 신뢰 수준을 조정할 수 있도록 할 것
• AI의 결과물을 즉시 전송 가능한 답변이 아닌, 검토가 필요한 초안 (drafts)으로 취급할 것

이러한 기준이 반드시 공식적이거나 관료적일 필요는 없습니다. 기술적인 소통 과정에서 AI 도구를 어떻게 사용할지에 대해 팀 내에서 정렬 (alignment)을 위한 대화를 나누는 것만으로도 패턴을 바꾸기에 충분할 수 있습니다.

우리는 우리의 상호작용 중 어떤 채널에서 이러한 패턴이 이미 나타나고 있는지 분석해야 합니다: 내부 포럼, 코드 리뷰 (code reviews), 티켓 (chamados), 고객과의 대화 등. 팀이 이미 이 문제를 얼마나 인지하고 있으며, 무엇을 조정하는 것이 합리적일까요?

출처: I'm Tired of Talking to AI