LLM(대규모 언어 모델)을 실무에서 제대로 활용하기 위해 알아두어야 할 「LLM의 습성」을 총 10회에 걸쳐 해설해 온 연재의 최종회입니다.

• 포초킨 이해 (Potemkin Understanding) (제1회)
• Lost in the Middle (제2회)
• Context Rot (제3회)
• Sycophancy (迎合/아첨) (제4회)
• Context Handoff (제5회)
• Prompt Distillation (제6회)
• 프로젝트화의 함정 (제7회)
• GPT화의 함정 (제8회)
• Instruction Drift (제9회)

AI 결과물의 품질 보증 ← 이번 회차 (최종회)

지금까지 9회에 걸쳐 LLM의 개별적인 「습성」을 하나씩 해부해 왔습니다. 최종회는 종합 편입니다. 이러한 습성들을 모두 알고 난 뒤, AI가 만든 결과물——코드, 설계서, 분석, 테스트 케이스——를 우리는 어떻게 하면 「신뢰할 수 있다」고 말할 수 있을 것인가. 개별적인 대책을 하나의 품질 보증 체계로 구축합니다.

소프트웨어의 품질 보증은 암묵적으로 하나의 전제 위에 서 있습니다. 시스템은 결정적이다 —— 동일한 입력에는 동일한 출력이 반환되고, 버그는 재현 가능하며, 테스트는 사양과의 대조로서 기능한다는 전제입니다.

AI의 결과물은 이 전제의 모든 것을 배신합니다.

① 동일한 입력이라도 출력이 흔들린다. 온도(Temperature) 파라미터를 0으로 설정해도, 모델 업데이트나 컨텍스트의 미세한 차이로 인해 출력은 변합니다. 제7회에서 보았듯이, 지식(Knowledge) 파일을 2개 추가했을 뿐인데 정보가 읽히는 방식(RAG 모드) 자체가 바뀌기도 합니다. 「재현 절차」라는 개념이 근본적으로 성립하기 어렵습니다.

② 결함이 「결함의 모습」을 하고 있지 않다. 기존의 버그는 크래시, 에러, 사양과의 명백한 불일치로 나타났습니다. AI의 결함은 제1회의 포초킨 이해(정의는 맞지만 적용이 어긋남), 제5회의 환각 로직(부족한 근거가 그럴듯하게 보완됨), 제7회의 진부화(자신만만하게 오래된 답을 내놓음) —— 모두 올바른 출력과 같은 모습으로 나타납니다. 육안 리뷰(Visual Review)로는 구조적으로 놓치기 쉬운 결함 타입인 것입니다.

③ 결함이 시간에 따라 발생한다. 코드는 작성한 순간의 품질이 유지되지만, AI 결과물의 생성 프로세스는 제3회의 Context Rot(대화의 부패), 제9회의 Instruction Drift(지시의 표류)로 인해 세션의 경과 자체가 품질을 변화시킵니다. 금요일에 좋았던 프롬프트가 월요일에 저하되어 있는(제7회) 경우조차 있습니다.

즉, AI 결과물의 품질 보증은 「완성품을 검사하는 것」만으로는 성립하지 않습니다. 생성 프로세스·검증 방법·시간 경과라는 3가지 방향 모두에 설계가 필요하다 —— 이것이 본고의 골격입니다.

소프트웨어 QA에 버그 분류표가 있듯이, AI 결과물에도 결함 분류표를 만들 수 있습니다. 이 연재의 9회 분량은 사실 그대로 **AI 결함의 택소노미(Taxonomy)**였습니다.

이 표의 오른쪽 끝 열을 살펴보면 공통점이 보입니다. **모두 「인간이 결과물을 바라보는 것만으로는 탐지할 수 없다」**는 점입니다. 따라서 AI 결과물의 QA는 육안 리뷰의 강화가 아니라, 탐지할 수 있는 메커니즘의 설계에 관한 이야기가 됩니다.

9회 분량의 논의는 궁극적으로 3가지 원리로 집약됩니다. 이 세 가지가 향후 QA 설계의 공리(Axiom)가 됩니다.

제5회·제6회의 「분포의 무게중심으로의 회귀」, 제9회의 「지정된 상태는 부자연스러우므로 자연스러운 상태로 미끄러져 내려감」, 제4회의 「동의라는 고보상 패턴으로의 인력」 —— 모두 같은 힘입니다. LLM의 출력은 방치하면 훈련 분포의 "전형(Typical)"으로 끌려갑니다. 그리고 실무에서 가치가 있는 정보는 대개 「그 프로젝트 고유의, 전형에서 벗어난 사정」입니다. 즉, **아무것도 설계하지 않으면 가장 중요한 정보부터 차례로 상실되는 것이 기본 동작(Default behavior)**입니다.

할루시네이션(Hallucination), 환각 로직, 자신만만한 진부화, 포초킨 이해. LLM은 「모른다」와 「안다」를 구분하는 내부 플래그를 가지고 있지 않으며, 어떤 상태에서도 확률 분포는 정의되며 반드시 무언가를 그럴듯하게 출력할 수 있습니다 (제5회). 출력의 외관·자신감·유창함은 올바름의 증거로 전혀 사용할 수 없습니다.

「이해하고 있습니까?」→「네」. 「규칙을 지키고 있습니까?」→「지키고 있습니다」. 「근거를 작성해줘」→ 그럴듯한 근거가 생성됨. 제1회의 포초킨(Potemkin), 제2회의 체크포인트(checkpoint) 게임화, 제4회의 메타 영합(meta-pandering), 제9회의 자기 보고 프로브(self-reporting probe) 무효론, 그리고 「모델에게 사양을 묻기」의 전멸——생성물에 의한 증명은 검증하고자 하는 대상과 동일한 병을 계승합니다. 결론은 일관됩니다: 묻지 말고, 측정하라.

3가지 원리로부터 검증 수단에는 명확한 신뢰성의 계층(hierarchy)이 도출됩니다. 상위 계층일수록 강력하며, 하위 계층일수록 「최후의 수단」입니다.

코드는 테스트를 실행합니다. 수치는 재계산합니다. 형식 규칙(글자 수·표기법·금지어)은 정규 표현식(regular expression)으로 판정합니다. 제5회의 「생성보다 기계적 조작」, 제9회의 기계적 체크의 일반화입니다. 기계 검증은 원리 1~3의 영향을 전혀 받지 않습니다. 무게 중심에 끌리지 않고, 외관에 속지 않으며, 자기 보고에 의존하지 않습니다. 따라서 AI 성과물의 QA 설계의 첫걸음은, 「이 성과물의 어느 부분이 기계 검증 가능한가」를 분류하는 것입니다. 테스트 코드·타입 체크(type check)·스키마 검증(schema validation)·린트(lint)가 통과할 수 있는 형태로 성과물의 사양 자체를 맞춰두는 것이 최대의 품질 보증 투자가 됩니다.

기계적으로 실행할 수 없는 내용이라도, 원전(original source)이 존재한다면 대조할 수 있습니다. 제5회의 원문 그대로(verbatim) 전략(요약이 아닌 인용), 요소 분해를 통한 차분 감사(diff audit), 제2회의 체크포인트 ID, 제7회의 참조 자료 ID. 공통된 설계는 「존재하는 것들 사이의 비교로 문제를 변환하는 것」입니다. 성과물에 근거 인용과 ID를 의무화해 두면, 「이 결론의 근거는 원전의 어디인가」를 기계적으로 추적할 수 있습니다. 반대로, 인용도 ID도 없는 성과물은 이 계층의 검증이 불가능한——즉 환각(hallucination)의 로직을 검출할 수 없는——성과물이라는 뜻입니다.

인간의 리뷰 문화를 AI에 도입한 것이 「AI에게 리뷰를 시키는」 발상이지만, 이 연재에서 보았듯이 소박하게 접근하면 전부 무효화됩니다. 유효하게 만드는 조건은 3가지입니다.

조건 A: 생성한 본인(동일 세션)에게 심사하게 하지 않는다. 제1회에서 보았듯이, 자신의 사각지대는 스스로 볼 수 없습니다. 제3회의 「클린한 새 세션에서 감사」가 최소한의 기준선입니다.

조건 B: 가능하다면 다른 회사의 모델에게 심사하게 한다. 제4회에서 확립했듯이, 영합이나 습성은 각 사의 독립적인 훈련의 산물이므로, 타사 모델은 오차의 독립성이 높습니다. 나아가 연구에 따르면, LLM은 자신의 생성물을 인식할 수 있으며, 자신의 출력을 체계적으로 높게 평가하는 자기 선호 편향(self-preference bias)을 가진다고 보고되었습니다. 동일 시리즈의 모델을 통한 심사는 이만큼 관대해집니다. 게다가 LLM 심사에는 장황한 답변을 높게 평가하는 경향(verbosity bias)이나, 제시 순서에 따라 평가가 바뀌는 위치 편향(position bias)도 알려져 있으므로, 심사에 사용할 경우에는 비교 대상의 순서를 바꾸어 여러 번 시도하는 것(제4회·제6회에서 수행한 순서 랜덤화)이 정석입니다.

조건 C: 총평을 금지하고, 항목별 판정 + 원문 인용을 강제한다. 「대체로 양호합니다」는 영합의 정형 문구입니다. 제9회의 판정 프롬프트와 같이, 규칙 단위의 ○✕와 위반箇所의 원문 인용을 요구하여, 비판의 퍼포먼스(제4회의 메타 영합)가 혼입될 여지를 차단합니다.

제9회의 결론——모델의 사양서는 사용하는 측이 실측하여 스스로 작성하는 것——의 구현 계층입니다. 카나리아(Canary, 제4회: 영합 강도의 정점 관측), 골든 태스크(Golden Task, 제7회: 월간 회귀 테스트), 어블레이션(Ablation, 제6회: 어떤 지시가 효과적인지에 대한 실증), 드리프트(drift) 발생 턴의 측정(제9회). 이러한 실측치를 PROJECT_META.md(제7회)에 축적해 두면, 「이 모델은 12턴에서 문체가 무너진다 → 10턴째에 앵커(anchor) 재주입」과 같이, QA 규칙을 경험칙이 아닌 실측 데이터로부터 도출할 수 있게 됩니다. L0~L2가 「개별 성과물의 검증」이라면, L3는 「검증 체계 그 자체의 교정」입니다.

마지막으로 인간이 남습니다. 다만 이 연재가 일관되게 지향해 온 것은, 인간의 관여를 「매번 모든 것을 육안으로 확인하는 것」에서 「단 한 번의 설계 검증 + 예외 처리」로 압축하는 것이었습니다. 제1회의 Phase A(체크리스트의 타당성을 1회만 검증), 제5회의 차분 감사(원문이 살아있는 동안 1회), 제7회의 골든 태스크 최초 설정. 인간만이 할 수 있는 것은 ① 기계 검증이 불가능한 가치 판단(이 설계가 사업으로서 올바른가), ② L0~L3 검증계 그 자체의 설계와 교정, ③ 검증계가 플래그를 세운 예외에 대한 판결——이 세 가지입니다. 인간이 전부 확인하는 체제는 확장성(scale)이 없을 뿐만 아니라, 원리 2(틀린 것은 틀린 얼굴을 하지 않는다)에 의해 정밀도도 나오지 않습니다. 인간은 검사관이 아니라, 검사 장치의 설계자가 되어야 합니다.

검증 계층을 성과물의 종류에 할당하면, 실무 QA 전략표가 됩니다.

가장 위험한 것은 이 표의 오른쪽 아래에 위치하는 성과물입니다. 즉, 실행도 대조도 할 수 없는 '판단·권장'을 AI에게 시키고, 이를 그대로 채택하는 경우입니다. L0도 L1도 사용할 수 없는 영역에서는 L2의 독립 심사와 L4의 인간 재결을 생략할 수 있는 선택지는 없습니다.

팀 개발에 Done 정의 (완료 정의)가 있듯이, AI 성과물에도 수락 기준을 정의합니다. 이 연재의 도구들을 모두 결합한 표준 형태가 바로 이것입니다.

모든 AI 성과물에 다음의 메타 블록을 의무화합니다 (제6회 템플릿의 일반화):

## 성과물 메타 정보
- 생성 모델/날짜: {모델명 · 버전 / YYYY-MM-DD}
- 생성 세션 상태: {신규 클린 / 지속 ◯턴째 / Project명}
...

수락 검사 프롬프트 (L2 독립 심사의 완성판. 타사 모델 또는 클린 세션에서 실행):

당신은 수락 검사관입니다. 다음 성과물을 첨부된 Done 정의에 비추어 검사하십시오.
# 검사 규칙
- 총평(예: "대체로 양호" 등)은 금지한다. 체크 항목별로 ◯✕로 판정한다
...

이 프롬프트 자체가 연재에서 다룬 방어 원칙의 집약체입니다. 총평 금지 (제4회 메타 아부 방지), 원문 인용 강제 (제5회), 근거와 ID 대조 (제1회·제5회의 환각 로직 대책), '없음'의 역검증 (제5회의 미확인 사항 은폐 대책), 확인 프로세스의 명시 (제2회의 공증(空證明) 대책).

개별 성과물의 QA가 갖춰지더라도, 제7회·제8회에서 보았듯이 자산은 시간과 함께 부패하며, 배포와 함께 피드백이 끊깁니다. 조직 차원에서는 다음 세 가지를 상설 운영해야 합니다.

① 골든 태스크의 정기 회귀 (제7회): 대표 태스크 3~5개를 월 단위로 실행하여 최초 합격 출력과 비교합니다. 변경 로그와 대조하여 열화 원인(지식 추가 / 지시 변경 / 모델 업데이트)을 구분합니다.

② 피드백 경로의 인위적 확보 (제8회): 배포된 봇·GPT의 답변 끝에, 이탈하는 대신 한마디 남길 수 있는 경로를 정형화하여 삽입합니다. 이용 빈도의 저하를 품질 열화의 신호로 간주하여 모니터링합니다.

③ 실측 프로파일의 공유 (제9회): 카나리아 · 드리프트 (Drift) 측정 결과를 META.md에 축적하여, '이 모델 구성에서의 운용 규칙'을 데이터로 계속 업데이트합니다. 모델의 버전 업데이트는 모든 프로파일의 재측정 트리거로 삼습니다.

연재의 시작인 제1회에서 우리는 "AI는 개념을 설명할 수는 있어도, 사용할 수 있다는 뜻은 아니다"라는 점을 보았습니다. 그리고 기묘하게도 그 기사를 작성하던 중, 필자인 AI 스스로가 포튄킨 이해 (Potemkin understanding)에 대한 설명을 실패함으로써 이를 실연했습니다. 정의는 완벽하게 말할 수 있었지만, 비유를 생성하는 과정에서 구조를 벗어났고, 지적받기 전까지는 스스로 깨닫지 못했습니다. 그 실패가 사실은 이 연재 전체의 결론을 처음부터 보여주고 있었습니다.

AI의 신뢰성은 AI의 '똑똑함'이나 '성실함' 같은 성격의 문제가 아닙니다. LLM은 무게 중심에 끌리는 확률 과정이며 (원리 1), 그 오류는 정답과 똑같은 얼굴로 나타나고 (원리 2), 자기 보고만으로는 검증할 수 없습니다 (원리 3). 이 세 가지는 결점이라기보다 이 기술의 물리 법칙과 같습니다. 물리 법칙에 화를 내봐야 소용없습니다. 법칙을 전제로, 검증 가능한 계 (System)를 설계하는 것 — 이것이 'AI와 잘 지내는 법'에 대한 이 연재의 최종적인 해답입니다.

교량 설계자는 강재를 신뢰하지 않습니다. 강재의 항복점을 실측하고, 안전 계수를 곱하고, 하중 시험을 거친 후에야 교량을 신뢰합니다. 우리도 마찬가지입니다. 모델을 신뢰하는 것이 아니라, 실측하고, 기계적 검증에 의존하며, 원전과 대조하고, 독립적으로 심사하며, 정점 관측하는 계를 구축하여 그 계를 신뢰하는 것입니다. 인간의 업무는 모든 출력물을 검수하는 역할에서, 이러한 검증 계를 설계하는 역할로 이동합니다.

AI는 확률의 안개 속에서 놀라울 정도로 유능한 결과물을 꺼내 오는 도구입니다. 안개를 걷어낼 수는 없지만, 안개 속에서도 안전하게 운전하기 위한 계기판은 이 10회에 걸쳐 한 차례 모두 갖추었다고 생각합니다. 이제 여러분의 현장에서 계기판을 교정하며 달려 나가시기 바랍니다.

• 본 연재 제1~9회에서 인용한 각 연구 (Mancoridis et al. 2025 / Liu et al. 2024 / Chroma 2025 / Sharma et al. 2023 / Zhou et al. 2023 / Yang et al. 2024 외)
• Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (위치 편향(Position Bias) ·冗長性 편향(Redundancy Bias) ·자기 선호(Self-preference) 보고)
• Panickssery, A., et al. (2024). LLM Evaluators Recognize and Favor Their Own Generations (자기 선호 편향 (Self-preference Bias))

긴 연재를 함께해 주셔서 감사합니다. 이 연재 자체도 인간과 AI의 공동 집필로 만들어졌으며, 그 과정에서 제1회의 실패 실연을 비롯하여 여기에 기술한 몇 가지 습성들을 필자들 스스로가 직접 겪었습니다. 그러한 시행착오를 포함하여, 여러분의 현장에 도움이 되기를 바랍니다.