LLM의 컴플라이언스 환각에 지쳐 오픈 소스 거버넌스 레이어를 구축했습니다

대규모 언어 모델 (LLM)을 프로덕션 환경에 배포했거나, 혹은 단순히 개인용 코딩 어시스턴트로 사용하고 있더라도, 여러분은 반드시 한계에 부딪히게 됩니다.

모델은 훌륭한 답변을 내놓습니다. 자신감 넘치고, 구조도 잘 잡혀 있죠. 여러분이 그 답변을 Slack 스레드나 PR 리뷰에 붙여넣으면, 누군가 이렇게 묻습니다: "어떻게 그런 결론에 도달했나요?"

여러분은 모릅니다. 모델도 모릅니다. 그리고 감사 추적 (Audit trail)도 존재하지 않습니다.

저는 20년 넘게 IT 업계에 종사하며, AI 도입 곡선이 제가 본 그 어떤 것보다 빠르게 가속화되는 것을 지켜봐 왔습니다. 하지만 저를 밤잠 설치게 하는 것은 이것입니다: 우리는 스스로를 설명할 수 없고, 세션 간에 일관성을 유지할 수 없으며, 거버넌스 레이어 (Governance layer)가 없는 시스템을 배포하고 있다는 사실입니다.

그래서 저는 하나를 만들었습니다. 오픈 소스로 말이죠.

문제는 지능이 아닙니다. 바로 드리프트 (Drift)입니다. 모든 LLM 세션은 새로 시작됩니다. 지난 대화에 대한 기억이 없습니다. 어제 설정한 규칙이 강제되지 않습니다. 무엇을 절대 하지 말라고 명령받았는지에 대한 기록도 없습니다. 챗봇에게는 이 방식이 괜찮을지 모르지만, 진지한 용도로 사용하는 모든 것에는 리스크 (Liability)가 됩니다.

저는 다음과 같은 시스템이 필요했습니다:

• 컴플라이언스 (Compliance) 규칙이 세션 전반에 걸쳐 무기한 지속될 것
• 모든 결정에 감사 가능한 추적 (Auditable trail)이 있을 것
• 정렬 제약 조건 (Alignment constraints)이 시간이 지나도 저하되지 않을 것
• 거버넌스 레이어가 모델 불가지론적 (Model-agnostic)일 것 (저는 모델을 끊임없이 교체합니다)

시장은 "메모리" 솔루션으로 가득 차 있습니다. 하지만 그것들은 모두 회상 (Recall) — 즉 사실, 선호도 또는 대화 기록을 기억하는 것에 불과합니다. 그것은 거버넌스가 아닙니다. 그것은 긴 컨텍스트 윈도우 (Long context window)일 뿐입니다.

제가 필요했던 것은 정렬 메모리 (Alignment memory)였습니다. 즉, 세션이 반복되고 모델이 바뀌더라도 규칙을 강제하고, 컴플라이언스 점수를 추적하며, 윤리적 드리프트 (Ethical drift)를 방지할 수 있는 능력입니다.

SAFi가 차별화되는 점

SAFi (Self Alignment Framework Interface)는 사용자와 모든 LLM 사이에 위치하는 오픈 소스 거버넌스 레이어입니다.

아주 쉽게 설명하자면 다음과 같은 아키텍처를 가집니다:

1. 컴플라이언스 엔진 (Compliance Engine)
규칙은 모호한 시스템 프롬프트 (System prompts)가 아니라 구조화된 제약 조건 (Structured constraints)으로 정의됩니다. 각 제약 조건은 가중치, 점수 산정 메커니즘 및 감사 로그 (Audit log)를 가집니다. 여러분은 모든 응답에서 정확히 어떤 규칙이 트리거되었는지 확인할 수 있습니다.

2. 정렬 메모리 (Alignment Memory)
"내 이름을 기억해줘"와 같은 메모리와 달리, SAFi는 세션 전반에 걸쳐 컴플라이언스 상태 (Compliance state)를 저장합니다. 만약 어제 시스템에 금융 조언을 절대 생성하지 말라고 명령했다면, 그 규칙은 오늘까지도 계속 적용됩니다. 드리프트 (Drift)도, 초기화 (Reset)도 없습니다.

3. 모델 불가지론적 인터페이스 (Model-Agnostic Interface)
GPT-5를 Llama 3, Claude, 또는 로컬 Mistral 인스턴스로 교체하십시오. 거버넌스 레이어 (Governance layer)는 동일하게 유지됩니다. 여러분의 규칙, 감사 추적 (Audit trail), 컴플라이언스 점수 등 모든 것이 기반 모델 (Underlying model)과 독립적으로 작동합니다.

4. 오픈 소스 (Open Source)
벤더 종속 (Vendor lock-in)이 없습니다. 블랙박스 형태의 컴플라이언스도 없습니다. 프레임워크의 모든 코드는 GitHub에 공개되어 있으며, 누구나 감사할 수 있습니다.

대상 사용자

• 실제로 지속되는 가드레일 (Guardrails)이 필요한 프로덕션 환경의 LLM 운영 개발자
• AI 거버넌스 (AI governance)를 책임지며, 모델이 고객에게 방금 무슨 말을 했는지 걱정하느라 밤잠을 설치는 IT 디렉터 (나와 같은 사람)
• AI 정렬 (AI alignment)의 미래를 형성하고자 하는 오픈 소스 기여자
• 매 세션마다 동일한 제약 사항을 다시 프롬프트 (Re-prompting)하는 것에 지친 모든 사람

실제 사용 사례

저는 컴플라이언스 담당자도 아니고, 철학자도 아닙니다. 저는 주말에 코딩을 하는 IT 디렉터이며, AI 거버넌스를 위한 도구가 존재하지 않는다는 사실을 깨달았습니다.
그래서 SAFi를 사이드 프로젝트로 구축했습니다. 이것은 제가 작성한 가장 정직한 코드입니다. 모든 줄이 AI를 설명 가능하고 (Explainable), 감사 가능하며 (Auditable), 신뢰할 수 있게 (Trustworthy) 만드는 데 집중하고 있기 때문입니다.

체험하기

저장소는 github.com/jnamaya/SAFi에서 확인할 수 있습니다. 이슈 (Issues), PR (Pull Requests), 그리고 솔직한 피드백을 모두 환영합니다.

저는 무엇을 팔고 있는 것도 아니고, 스타트업을 만들고 있는 것도 아닙니다. 저는 이미 존재했기를 바랐던 바로 그 거버넌스 레이어를 만들고 있습니다.

만약 여러분도 동일한 벽에 부딪혔다면 — 감사할 수 없는 답변을 내놓는 모델, 지속되지 않는 규칙, 드리프트가 발생하는 정렬(Alignment) — 저장소를 포크 (Fork)하거나, 이슈를 생성하거나, 혹은 제가 잘못된 것을 만들고 있다고 그냥 말씀해 주십시오.

여러분의 피드백이 로드맵 (Roadmap)을 결정합니다.