Git Secret Scanner와 같은 보안 감사 도구를 만들 때, 규칙은 이진적(binary)이었습니다. 취약점이 존재하거나, 존재하지 않거나 둘 중 하나였죠. 하지만 기관 금융을 위한 생성형 AI (Generative AI) 파이프라인을 구축하기 시작하면 상황은 위험할 정도로 모호해집니다.

온라인상의 거의 모든 RAG 튜토리얼은 PDF를 청킹(chunk)하고, 이를 벡터 데이터베이스 (vector database)에 넣고, 챗봇을 만드는 방법을 보여줍니다. 이는 장난감 수준의 애플리케이션에는 잘 작동합니다. 하지만 기업용 뱅킹 환경에서는 소수점 하나가 환각 (hallucination)을 일으키거나 통화 기호가 바뀌는 것은 단순한 버그가 아니라, 규제 준수 (regulatory compliance) 위반입니다.

표준 검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 _의미론적 의미 (semantic meaning)_를 기반으로 텍스트를 매핑하는 밀집 벡터 검색 (dense vector search)에 의존합니다. 문제는 무엇일까요? "2분기 매출은 4,000만 달러였습니다"와 "3분기 매출은 4,000만 달러였습니다"는 벡터 데이터베이스 입장에서는 의미론적으로 동일하지만, 금융 감사관에게는 완전히 다른 정보라는 점입니다.

저는 언어 모델 (language models)이 수학적으로 결정론적 (deterministic)이 되도록 강제할 방법이 필요했습니다. 그래서 FinGuard-RAG를 구축했습니다.

문제점: 조용한 환각 (Silent Hallucinations)

예를 들어, SEC 10-K 보고서를 바탕으로 LLM에게 특정 회사의 3분기 매출을 묻는다고 가정해 봅시다. 벡터 검색은 올바른 컨텍스트를 가져오지만, LLM은 창의력을 발휘하기로 결정합니다.

# 우리 벡터 DB에서 검색된 소스 텍스트
source_context = "The company reported a total operating revenue of $45.2 million for the third quarter of 2023."

...

만약 이 내용을 사용자에게 그대로 전달한다면, 당신은 달러(Dollars)를 유로(Euros)로 바꿔버린 셈이 됩니다. 표준 LLM 평가 지표(BLEU 또는 의미론적 유사도와 같은)는 텍스트가 거의 완벽해 보이기 때문에 이 출력에 높은 점수를 줄 것입니다.

해결책: FinGuard-RAG 소개

이해관계가 큰 환경에서는 "수탁자급 (fiduciary-grade)" 안전망이 필요합니다. FinGuard-RAG는 소스 텍스트와 생성된 텍스트 모두에서 모든 숫자, 날짜, 통화를 수학적으로 추출하여 엄격하게 비교하는 가볍고 결정론적인 Python 라이브러리입니다.

만약 LLM이 소스 문서에 명시적으로 존재하지 않는 숫자나 통화를 출력하면, 파이프라인은 즉시 중단(crash)됩니다.

생성 루프(generation loop)에서 이를 구현하는 방법은 다음과 같습니다:

from finguard_rag import FiduciaryValidator
from finguard_rag.exceptions import ComplianceHallucinationError

...

결과 (The Result)

잘못된 금융 데이터를 최종 사용자에게 조용히 전달하는 대신, FinGuard-RAG는 응답을 가로채어 다음과 같이 출력합니다:

🛑 BLOCKED: Generated text contains numerical/currency entities not present in the source context. Failed Entities: {'currencies': ['€']}

금융 분야 AI의 미래

거래를 실행하거나 금융 보고서를 작성하기 위해 자율적인 AI 에이전트 군집(agent swarms)을 배포하는 방향으로 나아감에 따라, 결정론적 가드레일(deterministic guardrails)은 더 이상 선택 사항이 아니라 필수적인 토대입니다. 수탁자 수준(fiduciary-grade)의 안전망 없이는 자율 에이전트를 확장할 수 없습니다.

저는 방금 FinGuard-RAG의 초기 프레임워크를 오픈 소스로 공개했습니다. 핀테크, 헤지 펀드 또는 은행을 위한 AI 파이프라인을 구축하고 있다면, 이를 테스트하고, 오류를 찾아내며, 결정론적 AI(deterministic AI)의 새로운 표준을 세우는 데 동참해 주시길 바랍니다.

코드를 확인하고, 스타(star)를 누르거나, PR(Pull Request)을 보내주세요:

alamshoaib134 / FinGuard-RAG

**Shoaib Alam**에 의해 🧠로 개발됨 (JPMC AI 엔지니어 | IIT Gandhinagar NLP 연구원 | Hybrid RAG 개척자)

FinGuard-RAG

기관 금융을 위한 수탁자 수준(Fiduciary-Grade) RAG 평가기

LLM이 생성한 응답을 소스 금융 텍스트와 엄격하게 대조하여 검증하는 결정론적 테스트 프레임워크입니다. 환각(hallucination)이 발생한 숫자, 일치하지 않는 날짜, 뒤바뀐 통화 기호를 수학적으로 표시하며, 무관용 준수(zero-tolerance compliance) 환경을 위해 구축되었습니다.

왜 FinGuard-RAG인가?

기관 금융(institutional finance)에서 단 하나의 환각(hallucination)된 숫자는 규제 위반, 잘못된 거래, 또는 컴플라이언스(compliance) 실패를 유발할 수 있습니다. 전통적인 RAG 평가 지표(BLEU, ROUGE, BERTScore)는 확률적이며 수탁자 책임 수준(fiduciary-grade)의 검증에는 불충분합니다.

FinGuard-RAG는 다른 접근 방식을 취합니다:

• 결정론적 (Deterministic): 머신러닝 (ML) 추론이나 외부 API 호출 없이, 순수하게 정규 표현식 (regex) 기반의 추출을 수행합니다.
• 엄격함 (Strict): LLM 출력에 포함된 모든 숫자, 날짜, 통화는 반드시 소스 텍스트에 존재해야 합니다.
• 감사 가능성 (Auditable): SHA-256 암호화 해시를 통해 모든 평가를 해당 소스 문서와 연결합니다.
• 준수성 (Compliant): Tier-1 금융 기관의 감사 파이프라인(audit pipelines)을 위해 설계되었습니다.

설치 (Installation)

pip install finguard-rag

…

GitHub에서 보기