Large Language Models (LLM)의 출력이 사실에 근거하고(factually grounded), 인식론적으로 교정되었으며(epistemically calibrated), 방법론적으로 재현 가능한지(methodologically reproducible)를 평가하는 것은 책임 있는 AI 배포를 위한 전제 조건입니다. 그러나 LLM을 감사하는 일은 비기술적 실무자들에게 여전히 접근하기 어렵습니다. 기존 도구들은 프로그래밍 전문 지식과 까다로운 환경 설정을 요구하며, 클라우드 기반 플랫폼은 평가 데이터를 외부 서비스로 전송하여, AI 감독에 대한 법적 책임을 지는 도메인 전문가 및 컴플라이언스 담당자(compliance officers)에게 장벽을 형성합니다.

우리는 LLM-FACETS (LLM FActuality Cross-EvaluaTion System)를 소개합니다. 이는 브라우저 접속이 가능한 인터페이스와 플러그인 아키텍처(plugin architecture)를 갖춘 오픈 소스 프레임워크로, EU AI Act 및 NIST AI Risk Management Framework에서 식별된 이해관계자 범주를 반영하여 세 가지 실무자 프로필(기술 전문가, 도메인 전문가, 컴플라이언스 담당자)을 중심으로 구조화되었습니다. 이 아키텍처는 데이터 흐름을 명확하게 만듭니다. 결정론적 지표(deterministic metrics: BLEU, ROUGE, BERTScore)는 외부 전송 없이 자체 호스팅 서버 내에서 완전히 실행됩니다. LLM-judge 지표는 외부 API에 명시적으로 접속하며, 사용자가 자격 증명(credential)에 대한 완전한 제어권을 유지합니다.

이 프레임워크는 세 가지 메커니즘을 통해 투명성을 실행합니다: 인식론적 불확실성(epistemic uncertainty)을 위한 토큰 수준의 로그 확률(log-probability) 시각화, 판사 편향(judge bias)을 완화하기 위한 다중 판사 합의(multi-judge consensus), 그리고 환각(hallucinations)을 탐지하고 국지화하기 위한 RAG Triad 지표(Faithfulness, Answer Relevance, Context Relevance)입니다. 플러그인 아키텍처를 통해 평가 파이프라인을 수정하지 않고도 새로운 지표나 데이터셋을 통합할 수 있습니다. 오픈 소스 구현을 통해 동일한 속성을 목표로 하는 여러 지표 간의 교차 검증이 가능하며, 이를 통해 재현성을 보장하고 AI 책임성(accountability)을 평가 대상 시스템을 구축하는 팀으로부터 분리할 수 있습니다. 우리는 18개의 지표 구현을 표준 참조 라이브러리와 교차 검증함으로써 프레임워크를 검증합니다.