컴플라이언스 도구가 '95% 준비됨'이라고 말하는 것은 기능이 아니라 책임(liability)이다

저는 최근 SOC 2 준비성 도구를 만드는 데 시간을 보냈는데, 가장 유용했던 점은 대시보드와는 아무 관련이 없었습니다. 그것은 거래를 망치는 조용한 실패 모드에 관한 것이며, 많은 컴플라이언스 도구들이 바로 그 실패를 유발하도록 만들어져 있다는 것입니다.

실패 모드

초기 단계의 SaaS 기업을 상상해 보세요. 그들은 훌륭한 엔터프라이즈 리드를 확보합니다. 이 리드의 보안팀은 피할 수 없는 이메일을 보냅니다: "SOC 2 보고서나 현재 준비 상태를 공유해 주세요."

창업자는 자신의 반짝이는 컴플라이언스 도구를 열어봅니다. 거기에는 이렇게 적혀 있습니다: "귀사는 95% 준수합니다." 좋습니다. 그들은 이 내용을 전달합니다.

그러자 보안팀이 한 가지 구체적인 질문을 합니다:

"접근 검토 주기(access-review cadence)는 무엇이며, 어떻게 증거를 제시할 수 있나요?"

그리고 창업자가 신뢰했던 답변은 생성된 것일 뿐, 근거가 있는 것이 아니었습니다. 모델이 자신이 반쯤 기억하는 통제 항목을 의역하고 미묘하게 잘못된 정의를 만들어냈습니다. 매주 이것들을 읽는 검토자는 약 5초 만에 이를 포착합니다.

이제 창업자는 95% 준비된 것처럼 보이지 않습니다. 마치 자신의 보안 태세(posture)조차 이해하지 못하는 사람처럼 보입니다. 그 거래는 분기 동안 지연됩니다. 때로는 무산되기도 합니다.

그 '95%'는 기능이 아니었습니다. 그것은 안심으로 위장된 책임(liability)이었습니다.

LLM 컴플라이언스 도구가 이렇게 하는 이유

LLM은 유창하고 자신감이 넘치며, 컴플라이언스 통제 항목은 정확하고 인용 가능한 텍스트의 일종이라서 이를 잘못 의역하기 쉽습니다. 일반 모델에게 "이 통제 항목은 무엇을 요구하나요?"라고 물어보면, 그것이 맞는 것처럼 들리는 무언가를 기꺼이 생성할 것입니다. 대부분의 경우 아무도 확인하지 않습니다.

하지만 컴플라이언스에는 내장된 적대적인 독자(adversarial reader), 즉 구매자의 보안팀이 있습니다. 그들의 전체 임무는 당신이 주장하는 것과 증거로 제시할 수 있는 것 사이의 격차를 포착하는 것입니다. 근거가 없는 자신감 넘치는 답변은 그들이 플래그 지정하기 가장 쉬운 단 하나의 요소입니다.

해결책은 지루하다: 근거 기반(grounding)

해결책은 더 똑똑한 모델이나 더 예쁜 대시보드가 아닙니다. 그것은 규칙입니다:

통제 항목에 관한 모든 답변은 실제 기준을 인용하거나, 해당 기준이 없다고 말해야 합니다. 절대 추측해서는 안 됩니다.

구체적으로 말하자면: 모든 AI 응답은 디스크에 있는 프레임워크 파일에서 실제 기준(criterion) 텍스트를 주입받습니다. 모델의 역할은 제한됩니다 — 출처를 인용하거나, 답변을 거부해야 합니다. 만약 통제 항목이 근거 자료(grounding set)에 없다면, 자신감 넘치는 의역 대신 '해당 통제 항목의 기준 텍스트가 없습니다'라고 솔직하게 출력합니다.

control = frameworks.lookup(control_id)   # 실제 텍스트, 디스크에서 가져옴
if control is None:
    return f"I don't have the criterion for {control_id}."
...

이것은 거의 너무 단순하게 느껴질 수도 있습니다. 하지만 자신감 넘치는 실수가 고객의 신뢰를 잃게 만드는 단 하나의 지점에서, '지루하고 정확한 것(boring and correct)'이야말로 바로 당신이 원하는 것입니다.

왜 이것이 기능보다 더 중요한가

컴플라이언스 도구들은 범위(breadth)로 경쟁하는 것을 좋아합니다 — 더 많은 통합(integration), 더 많은 프레임워크, 더 많은 자동화입니다. 유용하지만, 구매자의 보안팀이 실제로 테스트하는 것은 그 어떤 것도 아닙니다. 그들이 테스트하는 것은 당신의 답변이 단 하나의 특정 질문에 대해 얼마나 견고한가 하는 것입니다. 근거 자료에 기반하지 않은(ungrounded) 도구는 아무리 많은 체크박스를 가지고 있어도 가장 중요한 시험에서 낙제합니다.

솔직하게 말하자면

준비도 측정 도구는 **감사(audit)**가 아닙니다. 이 도구가 당신을 SOC 2 인증으로 만들어주지는 않습니다 — 공인회계사(CPA) 법인이 여전히 검사를 수행하고 보고서를 발행합니다. 달리 암시하는 모든 도구(저의 도구를 포함하여)는 제가 방금 설명한 것과 같은 과장된 약속을 하고 있는 것입니다.

저는 시에라리온의 프리타운에서 혼자 이 것을 만들고 있습니다. Attestlane이라고 불리며, 테스트해보고 싶다면 라이브 상태입니다(가짜 회사 데이터를 사용하세요 — 단순히 테스트하기 위해 실제 시스템에 연결하지 마세요). 하지만 제가 이것을 작성한 이유는 근거 자료라는 교훈이 저의 도구를 쓰든, 경쟁사의 도구를 쓰든, 아니면 스프레드시트를 쓰든 적용되기 때문입니다:

만약 당신의 컴플라이언스 답변이 출처를 인용할 수 없다면, 보안팀에게 보내지 마십시오.

만약 SOC 2를 처음 거쳐본 경험이 있다면, 실제로 가장 어려웠던 부분을 듣고 싶습니다.