생성형 AI의 문장 독해 방식과 17가지 인지적 편향 분석

1. 서론

안녕하세요, 료상입니다.

저는 QA 엔지니어로, 평소 테스트 설계에 생성형 AI (Claude)를 사용하고 있습니다.

할루시네이션 (Hallucination, 그럴듯하지만 틀린 출력)에 대해서는 사전에 인지하고 있으며, 생성형 AI에게 조사하게 하면서 대책을 세워 사용하고 있습니다.

다만, 생성형 AI의 '읽기' 편향(Bias)에 대해 조사하던 중 깨달은 점은, 학술계 (인지과학 + LLM 실증)에서는 서베이(Survey) 논문이 상당히 잘 정비되어 있는 반면, '생성형 AI에게 사양서나 문서를 읽혀서 사용하는' 실무 측면의 관점에서 집약된 자료는 산재해 있다는 것이었습니다. 실제로 저 자신도 논문을 기반으로 생성형 AI에게 조사를 맡기고 있습니다.

생성형 AI의 '기능 측면'에 대한 문서는 비교적 잘 정리되어 있는 것과 대조적입니다. 본 기사는 그 부분을 생성형 AI 스스로 소스를 첨부하여 집약하게 한 결과입니다. 생성형 AI에게 자기 자신의 거동을 말하게 하는 메타적인 시도이기도 합니다.

테스트 설계 과정에서 사양 독해는 무시할 수 없는 요인이라고 생각합니다.

사양을 올바르게 읽지 못하면, 그 이후의 관점(Viewpoint)도 테스트 케이스도 왜곡됩니다. 따라서 본고는 우선 '읽기'에 초점을 맞춥니다.

sycophancy (사용자에 대한 아첨/추종) 등의 행동 측면의 거동이나 할루시네이션 그 자체는 별도의 기사에서 다룹니다.

50년 이상 축적되어 온 인간의 인지 편향 연구와, 2023년 이후 급증한 LLM 측의 실증 연구를 대조해 보면, 'LLM의 읽기 실패'는 구조적으로 예측 가능한 리스크로서 정리할 수 있습니다.

본 기사는 이를 17가지 편향으로 분류하고, 테스트 설계 영역에서 어떤 일이 발생하는지를 보여줍니다.

2. 유창하게 쓰는 것과 의미를 이해하는 것

생성형 AI의 출력이 설득력을 갖는 가장 큰 이유는 그 유창함입니다. 문법은 정돈되어 있고 논리도 통하는 것처럼 보입니다. 읽으면서 걸리는 부분이 없습니다.

하지만 유창하게 쓸 수 있는 것과 의미를 이해하고 있는 것은 원리적으로 별개의 문제입니다.

이 점을 인지과학 분야의 탑 저널인 Trends in Cognitive Sciences에서 정면으로 논한 것이 Mahowald 등 (2024, DOI:10.1016/j.tics.2024.01.011 / arXiv:2301.06627)입니다. 이들은 LLM의 능력을 두 가지로 나누어 생각합니다.

formal: 문법적으로 올바르고 유창한 문장을 생성하는 능력 -
functional: 의미를 이해하고, 추론하며, 세계 지식을 사용하는 능력

그리고 이 두 가지는 계통적으로 괴리되어 있다고 합니다.

문법적 리듬은 인간 수준에 도달했지만, 의미 측면은 불안정한 상태 — 그런 이미지입니다.

이것이 까다로운 이유는 우리의 인지가 '유창한 문장 = 내용도 정확함'이라고 단락적으로 판단하기 쉽기 때문입니다.

Bansal 등 (2021 CHI, DOI:10.1145/3411764.3445717)은 AI가 설명을 제시하면 인간의 과신 (overreliance)이 증가하며, AI가 틀렸더라도 정정되지 않는다는 것을 실증했습니다.

이를 테스트 설계 상황에 대입하면 다음과 같습니다.

AI가 내놓은 관점 리스트가 유창하고 구조화되어 있을수록, 리뷰어는 '망라되었다'고 느낍니다. 하지만 그 유창함이 AI가 사양을 올바르게 읽었다는 증거는 되지 않습니다.

정리되어 있다는 것이 '사양에 기반한 근거 있는 테스트를 생각했다'는 증거도 되지 않습니다. LLM은 '그럴듯함'을 최적화하기 때문에, 관점도 논리도 실제로 근거의 연쇄를 따라간 결과라고 단정할 수 없기 때문입니다.

3. 17가지 읽기 편향

인간의 인지 편향 연구에는 반세기 이상의 축적이 있습니다. Wason 1960부터 Tversky & Kahneman, Rozenblit & Keil에 이르기까지, 인간이 문장을 어떻게 잘못 읽는지에 대해서는 정밀하게 기술되어 왔습니다.

2023년 이후, 이것들이 LLM에서도 유사한 패턴으로 관찰된다는 사실이 빠르게 실증되고 있습니다.

여기서 말하는 '읽기'의 대상은 사양서와 같은 외부 문서만을 의미하지 않습니다.

AI 내부에 축적된 지식 — 학습 데이터, system prompt, context 내의 과거 턴, RAG/KB, AI memory — 를 다시 읽는 상황에서도 동일한 편향이 작용합니다.

KB(지식 베이스) 엔트리에 '이 기능은 이렇게 동작한다'라는 템플릿이 축적되어 있다면, 새로운 사양의 특수 조건은 그 템플릿에 끌려가듯 읽히게 됩니다.

나아가 읽는 방법 또한 인간과 다릅니다.

인간은 기존 사양과 추가 사양을 전달받으면 자연스럽게 **차이점 (추가된 부분)**에 주의를 집중합니다.

「변경 사항이 의미적으로 중요하다」라는 판단에 따른 가중치 부여입니다. LLM은 토큰 열 (token sequence)을 동일하게 처리하므로, 「차이점이 의미적으로 중요하다」라는 판단을 구조적으로 내릴 수 없습니다. 사양서 v1과 v2를 모두 전달하며 「v2의 추가 기능에 대한 테스트를 작성해줘」라고 요청하더라도, LLM은 두 문서를 모두 동일한 1차 정보로 읽기 때문에 기존 기능의 테스트로 주의가 분산됩니다.

Shi 등 (2023 ICML, arXiv:2302.00093)은 LLM이 무관한 문맥 (irrelevant context)에 쉽게 주의를 빼앗겨 성능이 대폭 저하된다는 것을 입증했습니다.

대표적인 6가지 사례를 상세히 설명하고, 나머지 11가지는 표로 망라합니다.

A1 확증 편향 (Confirmation Bias)

「있을 법한 해석」에 맞춰 유리하게 읽는 경향 (Wason 1960, DOI:10.1080/17470216008416717 / Nickerson 1998, DOI:10.1037/1089-2680.2.2.175). LLM 측면에서는 Suri 등 (2024 JEP General, DOI:10.1037/xge0001547 / arXiv:2305.04400)이 GPT-3.5를 통해 5종의 편향을 입증했습니다.

테스트 설계 시:

• 「로그인 기능이니까 보통 이렇게 테스트한다」라며 전형적인 이미지에 끼워 맞추어, 사양 고유의 특수 조건을 읽기 지나침
• 「결제 = 카드 입력 + 금액 + 확인」이라는 템플릿에 들어맞지 않는 예외 플로우 (포인트 병용, 구독 자동 갱신, 분할 납부)가 관점으로 도출되지 않음
• 지식 베이스 (KB)에 과거 프로젝트의 템플릿 관점이 축적되어 있다면, 「있을 법한 해석」으로서 재강화됨

A2 앵커링 (Anchoring)

처음 정보에 판단이 끌려가는 경향 (Tversky & Kahneman 1974 Science, DOI:10.1126/science.185.4157.1124). LLM 측면에서도 Suri 등의 2024년 연구에서 확인되었습니다.

테스트 설계 시:

• 티켓 제목이 「월간 집계 배치 기능 추가」일 경우, AI가 「월간」이라는 프레임에 고정되어 일간 배치나 주간 처리와의 상호작용, 월을 넘나드는 경계 조건이 관점에서 누락됨
• 구버전 사양서를 먼저 읽게 하면, 신규 사양에서 변경된 기술 내용에 판단이 끌려감
• 앵커 (anchor)는 외부 문서뿐만 아니라, 시스템 프롬프트 (system prompt)의 도입부나 컨텍스트 (context) 내의 이전 대화에서도 주어짐

A6 WYSIATI (What You See Is All There Is)

적혀 있지 않은 조건을 보완하지 않는 경향 (Kahneman 2011, ISBN 9780374275631 / Sanbonmatsu 등 1991의 누락 무시 (omission neglect) 연구, DOI:10.1037/0022-3514.61.4.546).

테스트 설계 시:

• 사양서에 「이상계 (abnormal case)」 섹션이 없다면, AI가 도출하는 관점에 이상계가 제로가 됨
• 환경 전제, 권한 전제, 데이터 전제 등 작성자가 「당연히 쓰지 않아도 알 것」이라며 생략한 암묵적 전제가 결여됨
• 멀티 테넌트 (multi-tenant), i18n (국제화), 성능 요구사항, 장애 복구 시나리오 등 명시되어 있지 않으면 「없는 것」으로 처리됨
• 대책 방향: 관점을 도출하게 하기 전에 「이 사양에서 명시되지 않은 전제를 열거하라」와 같은 질문 주도 (question-driven) 방식을 도입함

A13 Lost in the Middle

긴 문장의 중앙 부분이 읽히지 않는 경향. 인간 측은 Murdock 1962의 계열 위치 효과 (DOI:10.1037/h0045106), LLM 측은 Liu 등 (2024 TACL, DOI:10.1162/tacl_a_00638 / arXiv:2307.03172)이 입증했습니다.

테스트 설계 시:

• 5페이지 사양서의 3페이지째에 적힌 표의 조건이 관점에 반영되지 않음
• 긴 API 사양에서 끝부분에 가까운 「에러 응답 (error response)」은 포착할 수 있어도, 중간 부분의 「재시도 조건 (retry condition)」「타임아웃 동작 (timeout behavior)」은 누락됨
• 까다로운 점은
  인간 측의 초두 효과/최신 효과 (Primacy/Recency)와 LLM 측의 Lost in the Middle가 이중으로 작용한다는 것입니다. 리뷰어도 중앙 부분을 읽기 지나치기 때문에, AI가 중앙 부분을 놓친 것이 발견되지 않습니다.

A14 Belief Perseverance (신념 고착)

기존의 신념이나 구버전을 끌고 가는 경향 (Anderson 등 1980, DOI:10.1037/h0077720 / Johnson & Seifert 1994의 지속적 영향 효과, DOI:10.1037/0278-7393.20.6.1420).

테스트 설계 시:

• 개정판에서 삭제된 기능의 테스트 케이스가 남음
• 「A에서 B로 변경되었다」고 명시하더라도, A의 동작을 전제로 한 관점이 섞임
• 학습 데이터에 오래된 정보가 있는 경우 (또는 지식 베이스(KB)에 구 사양 엔트리가 있는 경우), 신규 사양의 변경 사항이 묻힘
• 사양의 방침 전환이나 리팩터링 (Refactoring) 진행 중인 프로젝트에서 특히 심각함

A17 Inattentional Blindness (비주의적 맹목)

주의를 기울이지 않는 곳의 중요 정보를 놓치는 경향 (Mack & Rock 1998 Inattentional Blindness, ISBN 9780262632034 / Simons & Chabris 1999 「보이지 않는 고릴라」 실험, DOI:10.1068/p281059).

테스트 설계 시:

• 사양서 본문에는 주목하지만, 각주·캡션·도표 내 텍스트·표의 「※」가 붙은 예외 조항이 관점에 반영되지 않음
• 「※멀티 테넌트(Multi-tenant) 환경에서는 별도 사양 적용」, 「※프리미엄 회원에게만 적용」과 같은 내용이 본문의 흐름에서 벗어나 배치되어 있으면, AI와 인간 모두 놓치게 됨
• 이미지 내 OCR 영역, 긴 표의 맨 마지막 Note, 마크다운 인용구 (Markdown blockquote) 내의 보충 설명은 특히 포착되기 어려움

남은 11건

각 편향 (Bias)이 테스트 설계에서 나타나는 전형적인 사례를 2~3개씩:

#	편향 (요약)	테스트 설계에서의 전형적인 발현
A3	가용성 휴리스틱 (Availability Heuristic, 떠올리기 쉬운 정도로 판단)	・최근의 장애 패턴으로만 사양을 해석함 ・자주 발생하는 버그 유형 (null 체크·타임아웃 등)에 관점이 치우침 ・희귀 케이스·저빈도 시나리오가 떠오르지 않음
...
(출처는 말미의 참고문헌을 참조)

보충: 정보의 신선도에 대하여

본 기사에서 인용하고 있는 연구의 대부분은 2023-2024년의 것입니다. 긴 문맥 창 (Long context window)의 개선이나 추론 모델 (Reasoning model, o1 / DeepSeek-R1 계열)의 등장으로, 개별 편향은 완화되는 경향이 있다는 보고도 있습니다 (예: An et al. 2024, arXiv:2404.16811).

다만, 반증 측 논문을 포함하여 조사한 결과, 완화되더라도 제로가 되지는 않으며, 여러 편향이 프로세스 전체에서 누적되는 구조 그 자체는 남는다는 것이 현재까지의 결론입니다. 본 기사가 문제 삼고 있는 것도 개별 편향의 절대적인 강도가 아니라, 누적되는 구조 그 자체입니다.

참고문헌

인지과학·심리학 (고전)

참고문헌

인지과학·심리학 (고전)

• Anderson, C. A., Lepper, M. R., & Ross, L. (1980). Perseverance of social theories.
  JPSP, 39(6), 1037-1049. DOI:10.1037/h0077720
• Camerer, C., Loewenstein, G., & Weber, M. (1989). The curse of knowledge in economic settings.
  JPE, 97(5), 1232-1254. DOI:10.1086/261651
• Clark, H. H., & Chase, W. G. (1972). On the process of comparing sentences against pictures.
  Cognitive Psychology, 3(3), 472-517. DOI:10.1016/0010-0285(72)90019-9
• Fischhoff, B. (1975). Hindsight ≠ foresight.
  JEP: Human Perception and Performance, 1(3), 288-299. DOI:10.1037/0096-1523.1.3.288
• Frazier, L., & Rayner, K. (1982). Making and correcting errors during sentence comprehension.
  Cognitive Psychology, 14(2), 178-210. DOI:10.1016/0010-0285(82)90008-1
• Janis, I. L. (1972).
  Victims of Groupthink. Houghton Mifflin. ISBN 9780395140444
• Johnson, H. M., & Seifert, C. M. (1994). Sources of the continued influence effect.
  JEP: LMC, 20(6), 1420-1436. DOI:10.1037/0278-7393.20.6.1420
• Kahneman, D. (2011).
  Thinking, Fast and Slow. Farrar, Straus and Giroux. ISBN 9780374275631
• Kahneman, D., & Tversky, A. (1972). Subjective probability: A judgment of representativeness.
  Cognitive Psychology, 3(3), 430-454. DOI:10.1016/0010-0285(72)90016-3
• Luchins, A. S. (1942). Mechanization in problem solving: The effect of Einstellung.
  Psychological Monographs, 54(6). DOI:10.1037/h0093502
• Mack, A., & Rock, I. (1998).
  Inattentional Blindness. MIT Press. ISBN 9780262632034
• Murdock, B. B. (1962). The serial position effect of free recall.
  JEP, 64(5), 482-488. DOI:10.1037/h0045106
• Nickerson, R. S. (1998). Confirmation bias.
  Review of General Psychology, 2(2), 175-220. DOI:10.1037/1089-2680.2.2.175
• Nisbett, R. E., & Wilson, T. D. (1977). The halo effect.
  JPSP, 35(4), 250-256. DOI:10.1037/0022-3514.35.4.250
• Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth.
  Cognitive Science, 26(5), 521-562.

DOI:10.1207/s15516709cog2605_1 - Sanbonmatsu, D. M., Kardes, F. R., & Sansone, C. (1991). Remembering less and inferring more: effects of time of judgment on inferences about unknown attributes. JPSP, 61(4), 546-554. DOI:10.1037/0022-3514.61.4.546 - Simons, D. J., & Chabris, C. F. (1999). Gorillas in our midst. Perception, 28(9), 1059-1074. DOI:10.1068/p281059 - Thorndike, E. L. (1920). A constant error in psychological ratings. JAP, 4(1), 25-29. DOI:10.1037/h0071663 - Tversky, A., & Kahneman, A. (1973). Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 5(2), 207-232. DOI:10.1016/0010-0285(73)90033-9 - Tversky, A., & Kahneman, A. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124-1131. DOI:10.1126/science.185.4157.1124 - Tversky, A., & Kahneman, D. (1981). The framing of decisions and the psychology of choice. Science, 211(4481), 453-458. DOI:10.1126/science.7455683 - Wason, P. C. (1960). On the failure to eliminate hypotheses in a conceptual task. QJEP, 12(3), 129-140. DOI:10.1080/17470216008416717

LLM 실증 연구

• Bansal, G., et al. (2021). Does the Whole Exceed its Parts?
  CHI 2021. DOI:10.1145/3411764.3445717 - Liu, N. F., et al. (2024). Lost in the Middle.
  TACL, 12, 157-173. DOI:10.1162/tacl_a_00638 / arXiv:2307.03172 - Mahowald, K., et al. (2024). Dissociating language and thought in large language models.
  Trends in Cognitive Sciences, 28(6), 517-540. DOI:10.1016/j.tics.2024.01.011 / arXiv:2301.06627 - Shi, F., et al. (2023). Large Language Models Can Be Easily Distracted by Irrelevant Context.
  ICML 2023. arXiv:2302.00093 - Suri, G., et al. (2024). Do large language models show decision heuristics similar to humans?
  JEP General, 153(4), 1066-1075. DOI:10.1037/xge0001547 / arXiv:2305.04400