모든 LLM은 환각(hallucinates)을 일으키며, 이는 다음 모델 출시에서 수정될 버그가 아닙니다. 다음 토큰 예측 방식은 유창하고 그럴듯한 텍스트에 보상을 주며, 자신감 있는 조작(fabrication)은 자신감 있는 사실과 정확히 같은 점수를 받습니다. 이 모델에는 둘을 분리하는 내부 메커니즘이 없습니다.

따라서 신뢰할 수 있는 시스템은 모델 주변에 설계된 시스템입니다:

• 검색 기반 접지(Retrieval grounding): 모델이 자체 가중치에서 회상하는 대신 실제 문서를 요약하도록 합니다.
• 영구 메모리(Persistent memory): 이미 맞았던 사실을 재추측하는 것을 멈추고, 사용자가 수정한 내용을 기억합니다.
• 감지 계층(Detection layers): 자신감 점수 측정 및 여러 세대 간의 일관성 검사
• 인용 파이프라인(Citation pipelines): 모든 주장이 사람이 실제로 확인할 수 있는 출처를 가리키도록 합니다.

사용자들은 자신이 확신하지 못한다고 말하는 시스템은 용서하지만, 태연하게 답을 지어내는 시스템은 용서하지 않습니다.

아키텍처, 환각 유형의 분류 체계(taxonomy), 구현 워크스루를 다루는 전체 개발자 가이드는 여기에서 확인할 수 있습니다: https://www.adaptiverecall.com/ai-hallucinations/