가장 무서운 AI 실패는 명백한 환각이 아니라, 완전히 합리적으로 보이는 답변이다.

가장 무서운 AI의 실패 사례는 명백한 환각(hallucinations)이 아니다. 그것은 완전히 합리적으로 보이는 답변들이다.

모든 것이 의도대로 정확하게 작동한다. SQL이 실행되고, 차트가 렌더링되며, 보고서가 공유되고, 비즈니스 결정이 내려진다. 오류나 경고는 없다. 그러다가 4일 후에 누군가가 숫자가 완전히 잘못되었다는 것을 깨닫는다.

우리는 이런 일이 얼마나 자주 발생하는지 알아보기 위해 복잡한 28개 테이블의 보험 데이터 모델을 대상으로 벤치마크를 실행했다.

직접적인 text-to-SQL은 그럴듯해 보이는 비즈니스 로직 오류들을 반환했다. 한 사례에서는 정답보다 거의 8배 높은 결과를 반환했고, 다른 사례에서는 한 정책의 비용이 완전히 다른 정책에 조용히 귀속되었다.

반면 Mosaic은 모든 질문에 정확하게 답변했다.

나쁜 데이터가 보고서에 들어가게 되면, 아무도 AI를 탓하지 않는다. 그들은 그것을 발표한 사람을 탓한다.

요약: Mosaic은 모든 질문에 정확하게 답변했다. 직접적인 SQL은 오류 플래그 없이 8배 차이가 나는 숫자를 반환했다.

전체 방법론과 결과는 여기서 확인하세요: https://t.co/cHoB5h1BhA

다른 팀들은 이 문제에 어떻게 접근하고 있는지 듣고 싶습니다.

#SemanticLayer #EnterpriseAI #DataGovernance