2026년 시장에 출시된 모든 법률 AI 제품은 어느 시점에서든 환각 (hallucination)을 생성할 것입니다. 이는 논쟁의 여지가 있는 주장이 아니라, 대규모 언어 모델 (large language models)의 잘 문서화된 특성입니다. 법률 실무자들에게 중요한 질문은 환각이 발생하는지 여부가 아닙니다. 질문은 벤더(vendor)와 사용자가 이에 대해 무엇을 하느냐입니다.

이 글은 "환각 방어 (hallucination defense)" 표준을 제안합니다. 이는 진지한 법률 AI 제품이 환각의 확률과 영향을 최소화하기 위해 수행해야 할 사항과, 실무자가 벤더를 평가할 때 살펴봐야 할 사항에 대한 체크리스트입니다.

법률 AI에서의 환각 분류 체계 (taxonomy)

모든 환각이 동일한 것은 아닙니다. 유용한 프레임워크는 네 가지 범주를 구분합니다:

유형 1: 인용 조작 (Citation fabrication). AI가 존재하지 않는 출처를 인용합니다. 즉, 제정된 적이 없는 법 조항, 출판된 적이 없는 판례, 번호가 변경된 법원 규칙 등을 생성하는 것입니다.

유형 2: 인용 드리프트 (Citation drift). AI가 실제 출처를 인용하지만, 의미를 미묘하게 바꾸는 의역된 언어를 붙입니다. 법령에는 "Y인 경우 X가 허용된다"라고 되어 있는데, AI의 응답은 "X가 허용된다"라고 말하는 식입니다.

유형 3: 사실적 환각 (Factual hallucination). AI가 법률에 대해 잘못된 사실적 주장(예: "공소시효는 2년이다")을 생성합니다.

유형 4: 추론 환각 (Reasoning hallucination). AI가 표면적으로는 논리적이지만, 인용된 출처에 의해 뒷받침되지 않는 결론을 도출하는 추론을 생성합니다.

각 유형은 서로 다른 완화 조치를 필요로 합니다.

환각 방어 #1: 제약 생성 (Constrained generation)

인용 조작에 대한 가장 효과적인 방어책은 제약 생성 (constrained generation)입니다. 즉, 시스템이 소스 계층 (source layer)에 없는 인용을 생성할 수 없도록 아키텍처를 설계하는 것입니다.

작동 방식:

1. 사용자의 질문이 1차 자료 데이터베이스 (primary-source database)로부터의 검색 (retrieval)을 트리거합니다.
2. 검색된 소스들은 주장의 유일하게 허용된 근거로서 프롬프트 (prompt)에 주입됩니다.
3. 모델에게 다음과 같이 지시합니다: "오직 다음의 소스들만 사용하십시오. 만약 이 소스들로 질문에 답할 수 없다면, 명시적으로 그렇게 말하십시오."
4. 후처리 계층 (post-processing layer)이 출력물 내의 모든 인용 참조 (citation reference)가 검색된 소스와 일치하는지 검증합니다. 근거가 없는 모든 주장은 응답이 사용자에게 도달하기 전에 거부됩니다.

제약된 생성 (Constrained generation)이 완벽한 것은 아닙니다. 모델은 여전히 유형 4 추론 환각 (Type 4 reasoning hallucination, 소스가 지원하지 않는 결론을 도출하는 것)을 생성할 수 있습니다. 하지만 이는 구조적으로 유형 1을 방지하고 유형 2를 실질적으로 감소시킵니다.

환각 방어 #2: 인용 그래프 (Citation graph)

인용 그래프는 모든 소스의 모든 단락을 표준 인용 형식 (canonical citation form)에 매핑하고 관련 권위 있는 자료들을 연결합니다.

이 방어 기제는 유형 2 (인용 드리프트, citation drift)를 해결합니다. 모델이 법령을 검색하면 인용 그래프는 다음을 반환합니다:

• 표준 인용 (예: "Cal. Penal Code § 187")
• 법령의 축자적 텍스트 (verbatim text)
• 시행일 (effective date)
• 응답이 인용할 수 있는 영구 식별자 (persistent identifier)

응답이 표준 인용을 답변으로 전달하기 때문에, 실무자는 정확히 무엇이 검색되었는지 확인할 수 있습니다. 인용된 텍스트가 응답 옆에 축자적으로 표시되므로 드리프트 현상이 가시화됩니다.

환각 방어 #3: 시행일 추적 (Effective-date tracking)

법령은 개정됩니다. 날짜가 없는 "Cal. Penal Code § 187"에 대한 인용은 알 수 없는 버전에 대한 인용입니다.

시행일 추적은 모든 소스의 시행일을 응답에 포함함으로써 이 문제를 해결합니다. 실무자는 단순히 "Cal. Penal Code § 187"이 아니라 "Cal. Penal Code § 187 (2024-01-01 시행)"을 보게 됩니다.

이 방어 기제는 오래된 권위 (stale authority)를 사용할 확률을 줄여줍니다.

환각 방어 #4: 감사 인터페이스 (Audit interface)

감사 인터페이스는 다른 방어 기제들을 검증 가능하게 만드는 요소입니다. 모든 응답은 다음을 공개합니다:

• 검색된 출처 목록 (The list of sources retrieved)
• 생성된 주장 목록 (The list of claims made)
• 첨부된 인용 목록 (The list of citations attached)
• 인용구를 클릭하면 원문 그대로의 출처를 표시

"이게 어디서 나온 거지?"라고 묻는 시니어 파트너가 단 한 번의 클릭으로 답변할 수 있어야 합니다. 그것이 바로 감사 인터페이스 (Audit interface)입니다.

이 방어 기제는 모든 환각 (Hallucination) 유형을 가시화함으로써 네 가지 유형 모두를 다룹니다.

환각 방어 #5: 실무자 측 검증 (Practitioner-side verification)

공급자 측 (Vendor-side) 방어만으로는 충분하지 않습니다. 실무자 측 검증 (Practitioner-side verification)이 필수적입니다.

실무자는 다음을 수행해야 합니다:

• 인용구를 신뢰하기 전에 반드시 모든 인용을 검증하십시오. 클릭하여 확인하고, 발췌문을 읽고, 시행일을 확인하십시오.
• 고객 업무에 AI 생성 언어를 사용할 경우 검증 내용을 기록하십시오.
• 환각 현상을 공급자에게 보고하십시오.
• 표준을 충족하는 도구를 선택하십시오.

공급자가 공개해야 할 사항

모든 법률 AI 공급자는 다음을 포함하는 환각 방어 성명서 (Hallucination-defense statement)를 공개해야 합니다:

1. 아키텍처 (Architecture). 시스템이 어떤 환각 방어 기제를 사용하는가?
2. 환각률 (Hallucination rate). 실제 운영 환경에서 관찰된 인용 조작률은 얼마인가?
3. 감사 인터페이스 (Audit interface). 응답 검증을 위해 실무자에게 제공되는 인터페이스는 무엇인가?
4. 개정 추적 (Amendment tracking). 시스템이 법률 개정 사항을 어떻게 처리하는가?
5. 실패 공개 (Failure disclosure). 환각이 감지되었을 때 어떤 조치가 취해지는가?

이러한 세부 사항을 공개할 수 없거나 공개하지 않는 공급자는 피해야 합니다.

변호사 협회가 고려해야 할 사항

변호사 협회는 표준을 설정하는 데 있어 독특한 역할을 수행합니다. 협회는 다음과 같은 방법으로 환각 방어 도입을 가속화할 수 있습니다:

1. 실무자가 법률 AI 도구에 기대해야 할 사항에 대한 지침 발행.
2. 계속 법률 교육 (CLE)에 환각 방어 내용을 포함.
3. 실무자가 도구를 선택할 때 사용할 수 있는 모델 지침 (Model guidance) 발행.

결론

환각은 LLM (Large Language Models)의 특징이지, 패치로 제거해야 할 버그가 아닙니다. 방어는 아키텍처적인 것이어야 합니다. 즉, 환각이 구조적으로 방지되거나 가시화되도록 시스템이 구축되어야 합니다.

실무자들은 평가하는 모든 법률 AI (legal-AI) 도구에 대해 환각 방어 (hallucination defense)를 요구해야 합니다. 이 표준을 충족하지 못하는 벤더 (Vendors)는 실제 업무용 법률 작업 (production legal work)을 수행할 준비가 되지 않은 것입니다.

CourtGPT는 핵심적인 아키텍처적 제약 사항 (architectural constraint)으로서 환각 방어를 중심으로 구축되었습니다.

CourtGPT는 캘리포니아주 샌디에이고에 본사를 둔 법률 AI 팀인 Talking Machines LLC에 의해 구축되었습니다. 실제 제품은 app.courtgpt.ai에서 확인할 수 있습니다. 아키텍처 관련 문의: hello@courtgpt.ai.