생성형 AI를 금융 보고 워크플로우에 배포하는 방법

AI 지원 보고 도구를 사용하여 세 번의 분기 결산을 이끈 결과, 성공적인 구현은 기술 자체보다는 기존 프로세스에 어떻게 통합하느냐에 더 달려 있다는 것을 배웠습니다. 여기에는 우리가 이 시스템들을 파일럿 테스트할 때 실제로 효과가 있었던 부분과 그렇지 않았던 부분에 기반한 실질적인 로드맵이 담겨 있습니다.

생성형 AI 금융 보고 (Generative AI Financial Reporting)가 약속하는 바는 매우 매력적입니다. 자동화된 차이 분석 (variance analysis), 즉각적인 규제 매핑 (regulatory mapping), AI가 초안을 작성하는 공시 (disclosures) 등이 그것입니다. 하지만 파일럿 단계에서 운영 단계로 넘어가기 위해서는 체계적인 계획이 필요하며, 특히 정확성이 타협 불가능하고 감사인이 모든 통제 항목을 면밀히 조사하는 기능에서는 더욱 그렇습니다.

1단계: 영향력은 높고 리스크는 낮은 유스케이스 (Use Cases) 식별

수익 인식 (revenue recognition)이나 손상 테스트 (impairment testing)부터 시작하지 마십시오. 다음과 같은 작업부터 시작하십시오:

• 대량 작업 (High-volume): 자회사나 보고 기간 전반에 걸쳐 반복적으로 수행되는 작업
• 잘 문서화된 작업 (Well-documented): 명확한 규칙이나 선례가 존재하는 작업
• 낮은 중요도 영향 (Low-materiality impact): 오류가 발생하더라도 재무제표 재작성 (restatements)을 유발하지 않는 작업

적절한 시작 후보군:

• 현금 흐름표 서술 (Cash flow statement narratives): 영업, 투자 또는 재무 활동의 유의미한 변화를 설명하는 작업
• 리스 회계 문서화 (Lease accounting documentation): ASC 842 계산에 대한 감사 추적 (audit trails) 생성
• 법인세 비용 주석 (Tax provision footnotes): 유효세율 조정 (effective tax rate reconciliations) 초안 작성
• 규제 업데이트 요약 (Regulatory update summaries): 새로운 FASB 또는 IASB 발표 내용을 압축

우리는 중요하지 않은 계정 그룹에 대한 MD&A 차이 설명을 시작했습니다. 이를 통해 준수 사항을 위태롭게 하지 않으면서 정확성을 테스트할 수 있는 샌드박스 (sandbox)를 확보할 수 있었습니다.

2단계: 데이터 환경 준비

생성형 AI (Generative AI) 모델에는 깨끗하고 구조화된 입력값이 필요합니다. 배포하기 전에 다음 사항을 수행하십시오.

계정 과목 (Chart of Accounts) 표준화

만약 자회사들이 유사한 거래에 대해 서로 다른 계정 코드 (account codes)를 사용한다면, AI는 패턴을 학습하는 데 어려움을 겪을 것입니다. 저희는 계정 명명 규칙 (naming conventions)을 조화시키는 데 4주를 소비했습니다. 지루한 작업이었지만, 모델이 여러 엔티티 (entities) 전반에 걸쳐 통찰력을 적용할 수 있게 되었을 때 그 결실을 보았습니다.

과거 출력물 라벨링 (Labeling)

'좋은' 보고서의 사례를 AI에 제공하십시오. 이전 분기의 공시 자료, 승인된 차이 분석 설명 (variance explanations), 확정된 주석 (footnotes) 등이 해당됩니다. 저희는 지난 8분기 동안의 10-Q 보고서에 대해, 어떤 섹션이 저희의 품질 기준을 충족했는지 표시하는 주석 (annotations)을 달아 저장소 (repository)를 구축했습니다.

중요성 임계값 (Materiality Thresholds) 정의

정량적 임계값(예: 세전 이익의 5%)을 초과하는 차이(variances)를 표시하도록 시스템을 구성하십시오. 이를 통해 AI가 중요하지 않은 변동 사항에 대해 장황한 설명을 생성하는 것을 방지할 수 있습니다.

3단계: 섀도우 런 (Shadow Run)을 통한 파일럿 테스트

최소 한 번의 전체 결산 주기 동안 기존의 결산 프로세스와 AI 시스템을 병행하여 실행하십시오. 아직 AI의 출력물에 의존하지 마십시오. 팀이 수동으로 생성한 결과물과 비교하십시오.

다음 항목을 추적하십시오:

• 정확도 (Accuracy rate): AI가 생성한 콘텐츠 중 수정 없이 사용 가능한 비율은 얼마인가?
• 시간 절감 (Time savings): AI가 작성한 초안이 정확하다면 프로세스가 얼마나 더 빨라질 수 있는가?
• 오류 유형 (Error types): 실수가 사실 관계의 문제인가, 스타일의 문제인가, 아니면 해석의 문제인가?

저희의 파일럿 테스트 기간 동안, AI는 일상적인 차이 분석 설명은 완벽하게 수행했지만, 구조조정 비용과 같은 비반복적 항목 (non-recurring items)에는 어려움을 겪었습니다. 이 통찰력을 바탕으로 저희의 배포 전략을 수립했습니다. 즉, 반복적인 항목에는 AI를 사용하고, 일회성 항목에는 인간의 분석을 사용하는 것입니다. 이 단계에서 AI 개발 전문가 (AI development specialists)와 협력하면 귀사의 특정 보고 스타일 및 요구 사항에 맞춰 모델을 미세 조정 (fine-tune)하는 데 도움이 될 수 있습니다.

4단계: 검증 통제 (Validation Controls) 수립

감사인은 다음과 같이 물을 것입니다: "AI의 출력물이 정확하다는 것을 어떻게 알 수 있습니까?" 귀사의 통제 프레임워크 (control framework)는 이에 답할 수 있어야 합니다.

다음 사항을 구현하십시오:

• 샘플링 검토 (Sampling reviews): 선임 회계사가 매 기간 AI가 생성한 콘텐츠의 20-30%를 검토합니다.
• 대조 확인 (Reconciliation checks): 자동화된 스크립트를 통해 서술적 설명이 기초 데이터와 일치하는지 확인합니다.
• 임계값 알림 (Threshold alerts): 필수적인 인적 검토를 위해 중요성 한도 (materiality limits)를 초과하는 계정을 참조하는 출력물에 플래그를 지정합니다.
• 버전 추적 (Version tracking): AI가 생성한 내용과 최종 확정된 내용을 보여주는 감사 추적 (audit trails)을 유지합니다.

이러한 통제 항목들을 귀사의 SOX 서술서 (SOX narratives)에 문서화하십시오. 당사는 새로운 통제 활동을 추가했습니다: "경영진은 재무제표에 포함하기 전, AI가 생성한 공시 내용의 정확성과 완전성을 검토한다."

단계 5: 팀 교육

생성형 AI (Generative AI)는 역할을 없애는 것이 아니라 변화시킵니다. 직원들은 초안 작성에서 검토로 역할을 전환해야 하며, 여기에는 다른 기술이 필요합니다:

• 비판적 평가 (Critical evaluation): 그럴듯하게 들리지만 틀린 AI 출력물을 식별하는 능력
• 프롬프트 엔지니어링 (Prompt engineering): 더 나은 결과를 얻기 위해 AI에 질의하는 방법을 배우는 것
• 에스컬레이션 판단 (Escalation judgment): AI의 권장 사항을 언제 무시(override)해야 하는지 아는 것

당사는 강력한 AI 출력물과 취약한 AI 출력물의 사례를 나란히 비교하여 보여주는 워크숍을 진행했으며, 무엇이 차이를 만드는지에 대해 논의했습니다. 목표는 모든 사람을 데이터 과학자로 만드는 것이 아니라, 팀이 도구를 효과적으로 사용할 수 있도록 리터러시 (literacy)를 구축하는 것이었습니다.

단계 6: 점진적 확장

파일럿 유스케이스 (pilot use case)에서 정확성을 검증했다면, 다음과 같이 점진적으로 확장하십시오:

• 1분기: 비중요 계정에 대한 변동 원인 설명
• 2분기: 리스 문서 및 현금 흐름 서술 추가
• 3분기: 세무 주석 및 부문별 보고 포함
• 4분기: 전체 MD&A 초안 생성

전면 도입을 서두르는 것은 통제 실패의 위험을 초래합니다. 당사는 2분기에 지분법 투자 공시에 AI를 사용하려 했을 때 이를 경험했습니다. 모델에 학습 사례가 충분하지 않아 사용할 수 없는 결과물을 생성했습니다. 인내심이 결실을 맺습니다.

결론

생성형 AI (Generative AI) 금융 보고를 구현하는 것은 단순한 기술 프로젝트가 아닙니다. 이는 AI를 활용하여 이루어지는 프로세스 재설계 (process redesign)입니다. 투자 대비 수익 (ROI)을 얻고 있는 기업들은 이를 다른 통제 환경의 변화와 동일하게 취급하는 곳들입니다. 즉, 신중한 범위 설정 (scoping), 엄격한 테스트 (testing), 문서화된 검증 (validation), 그리고 단계적 배포 (phased rollout)를 거치는 기업들입니다. 이러한 역량을 확장하고 AI 에이전트 오케스트레이션 (AI Agent Orchestration)을 통해 다른 지능형 시스템과 통합할 때 효율성은 복리로 증가하지만, 이는 기초가 탄탄할 때만 가능합니다. 작게 시작하고, 철저히 검증하며, 그 결과를 바탕으로 확장을 진행하십시오.