생성형 AI에게 회의록을 통째로 맡겼더니, 경영 판단에 필요한 정보의 70%가 사라진 이야기

Kawamura International의 CEO 모리구치입니다.

번역·로컬라이즈(Localization)에서 시작하여 기계 번역 SaaS 판매를 거쳐, 현재는 LDX 사업의 런칭에 주력하고 있습니다. 엔지니어는 아니지만, 생성형 AI를 사용한 업무 프로세스 검증을 직접 수행하며 그 기록을 작성하고 있습니다.

이번에는 시리즈 Part 5입니다. 테마는 "구조화된 출력(Structured Output)이 없는 생성형 AI는 경영 대시보드(Dashboard)에 사용할 수 있는가"입니다.

배경: 기업의 상당수는 Copilot밖에 사용할 수 없다

생성형 AI의 업무 활용을 추진하려고 할 때, 현실적인 벽이 존재합니다.

많은 기업에서는 보안 정책이나 계약 관계 때문에, 사용할 수 있는 생성형 AI가 Microsoft Copilot으로 한정되어 있는 경우가 적지 않습니다. Claude도 ChatGPT도 "사외 서비스로의 데이터 전송 불가"라는 판단으로 금지되고, Copilot만 허용되는—그런 기업들을 여러 곳 보아왔습니다.

그렇기에 이번 검증을 진행했습니다.

"Copilot만으로 경영 대시보드를 만들면 어떻게 될까. LDX hub StructFlow로 구조화된 출력을 했을 때와 무엇이 얼마나 다를까"를 실제 20개 부문의 회의록 데이터를 사용하여 비교했습니다.

검증 설계

사용한 데이터

• 20개 부문의 경영 회의 회의록 (동일한 데이터를 양측에 투입)

비교한 두 가지 접근 방식

Copilot 버전

Microsoft Copilot에 회의록 텍스트를 전달하며, "경영 대시보드용으로 HTML 형식으로 정리해줘"라고 프롬프트(Prompt)를 입력. 구조화 지시는 주지 않고 Copilot의 판단에 맡김.

StructFlow 버전

LDX hub StructFlow에서 사전에 스키마(Schema)를 정의 (태스크·리스크·부문 간 요청을 구조화된 JSON 출력) → Power Automate로 HTML 대시보드를 자동 생성 → SharePoint에 저장하여 URL을 반환.

실제 대시보드 살펴보기

백문이 불여일견입니다. 이번에 작성한 두 가지 대시보드를 그대로 공개합니다. 동일한 20개 부문의 데이터로부터 생성된 것입니다.

Copilot 버전 대시보드 (샘플)

👉 대시보드 열기

Copilot + LDX hub StructFlow 버전 대시보드 (샘플)

👉 대시보드 열기

※ 모두 URL을 알고 있는 분만 열람 가능한 샘플 페이지입니다. 실제 데이터는 포함되어 있지 않습니다.

나란히 놓고 보면 디자인이나 구성의 차이뿐만 아니라, 정보의 "밀도" 차이를 체감할 수 있을 것입니다.

결과: 숫자로 보는 정보의 결락

동일한 20개 부문의 회의록에서 각각 추출한 정보량을 비교했습니다.

지표	StructFlow 버전	Copilot 버전	차이
태스크 추출 수	100건	18건	-82건
리스크 추출 수	45건	높음 6건·중간 10건 정도	대폭 적음
부문 간 요청 수	83건	17건 정도	-66건
고위험 건수	21건	6건	-15건
처리 부문 수	20/20	20/20	동일

동일한 데이터를 읽고, 태스크는 약 5.5배, 리스크는 약 2.6배, 부문 간 요청은 약 4.9배의 차이가 발생했습니다.

Copilot이 "읽지 않은" 것이 아닙니다. 제대로 읽고, 정리해서, 깔끔한 HTML을 출력하고 있습니다. 하지만 요약 과정에서 대량의 정보가 누락되고 있습니다.

Copilot이 놓친 정보의 내용

정량적인 차이보다 더 심각한 것은 무엇이 누락되었는가입니다.

Copilot 버전의 대시보드에는 다음과 같은 정보가 결락되었거나 과도하게 요약되었음을 확인했습니다.

① 운영부의 과부하 3건 (이직 리스크 높음)

StructFlow 버전에서는 "담당자 A·B·C 3명이 동시기에 과부하 상태, 이직 리스크 있음"이라고 구조화되었던 정보가, Copilot 버전에서는 "리소스 조정이 필요함"이라는 한 줄로 압축되어 있었습니다.

② 재무부의 M&A 회계 처리·감사 대응

StructFlow 버전에서는 구체적인 태스크와 기한이 추출되었으나, Copilot 버전에는 언급이 없음.

③ 파트너부의 상위 3개사 의존도 70% 리스크

사업 지속 리스크로서 중요도가 높은 정보이지만, Copilot 버전에는 기재되지 않음.

④ 품질보증부의 보안 취약점 2건

StructFlow 버전에서는 독립된 리스크 항목으로 추출되었으나, Copilot 버전에서는 타 부문의 기술 내용에 묻혀 있었음.

⑤ 총무부의 월 임대료 3,200만 엔이라는 구체적인 비용 정보

수치 정보의 누락은 비용 관리 (Cost Management) 관점에서 특히 영향이 큽니다.

왜 「통째로 맡기기」를 하면 정보가 누락되는가

구조화하지 않는 생성형 AI (Generative AI) 활용에는 구조적인 문제가 있습니다.

1. 요약 압력이 작용함

생성형 AI는 「읽기 쉬운 요약본 (Summary)을 출력하는」 방향으로 최적화되어 있습니다. 긴 의사록을 전달하면, 중요도 판단을 스스로 수행하면서 내용을 압축합니다. 이 판단 기준은 모델의 학습 데이터에 의존하며, 귀사의 우선순위와는 일치하지 않습니다.

2. 구조가 정해져 있지 않으면 비교할 수 없음

Copilot 버전의 출력은 매번 포맷이 바뀝니다. 지난달과 이번 달의 컬럼 (Column) 구성이 다르면 트렌드 분석 (Trend Analysis)을 할 수 없습니다. 경영 대시보드 (Management Dashboard)로서 기능하려면, 매번 동일한 구조로 출력되는 것이 전제되어야 합니다.

3. 「없었던 일」을 알아차릴 수 없음

이것이 가장 위험한 점입니다. 요약된 요약본을 봐도 「무엇이 누락되었는지」는 알 수 없습니다. StructFlow 버전과의 비교가 있어서 비로소 Copilot 버전에 재무 리스크 (Financial Risk)가 기재되지 않았다는 사실을 깨달았습니다. 알아차리지 못한 채 경영 판단에 사용하는 것이 진짜 리스크입니다.

4. 확장성 (Scalability)이 없음

20개 부서가 30개 부서가 되어도 StructFlow의 비용은 거의 변하지 않습니다. Copilot에 통째로 맡길 경우, 부서 수가 늘어날수록 프롬프트 (Prompt)가 길어지며 출력 품질은 오히려 떨어집니다.

Copilot이 뛰어난 점도 솔직하게 작성

오해가 없도록 덧붙입니다. Copilot에는 명확하게 뛰어난 점도 있습니다.

• KPI 스냅샷 정리에 능숙함. 매출, 이탈률 (Churn Rate), 가동률 등의 수치 지표를 일람표로 만드는 속도가 빠름.
• 디자인 완성도가 높음. 경영진 보고 자료로서 보기 좋음.
• 문맥이 있는 읽기가 가능함. 「A사 상담 → 기술 제안 → 임원 동석」이라는 흐름을 문장으로서 자연스럽게 정리함.

즉, 「읽기 쉬운 요약본」을 만드는 것은 Copilot이 잘합니다.

활용법의 정답은 다음과 같습니다.

• 경영 회의 전 「빠르게 파악하기」 → Copilot
• 전사 횡단 「누락 없이 관리하기」 → StructFlow

이번 시스템 구성

StructFlow 버전은 다음과 같은 파이프라인 (Pipeline)으로 작동합니다.

의사록 파일 (SharePoint)
↓
Power Automate (배치 처리 플로우)
...

Power Automate의 「파일 생성」 액션으로 HTML을 SharePoint에 저장하고 URL을 반환할 뿐입니다. <script> 태그도 살아있기 때문에 Chart.js 그래프도 작동합니다.

다음 전개: 다국어 대시보드의 가능성

LDX hub에는 StructFlow 외에 RefineLoop라는 API가 있습니다. 이는 번역 품질 개선에 특화된 API이지만, 조합하면 흥미로운 일을 할 수 있습니다.

글로벌 전개를 하고 있는 기업에서는 각 거점의 의사록이 영어, 일본어, 스페인어, 중국어 등으로 혼재되어 있는 경우가 있습니다. RefineLoop를 사용하면 각각의 언어로 작성된 의사록을 StructFlow로 구조화한 후, 통일된 언어(예: 영어)로 품질을 보증하며 변환하여 하나의 대시보드에 통합할 수 있습니다.

Kawamura International은 번역 및 로컬라이제이션 (Localization)이 모태 사업이므로, 이 영역에 특히 힘을 쏟고 싶습니다.

차회 예고

이번과 동일한 검증을 n8n 또는 Dify로 실시해 보려고 합니다.

Power Automate는 Microsoft 환경에 국한된 구성이지만, n8n은 셀프 호스팅이 가능한 오픈 소스 워크플로우 (Workflow) 도구이며, Dify는 LLM 앱 개발 플랫폼입니다. 동일한 StructFlow를 사용하면서 도구가 바뀌면 무엇이 변하는지를 검증하겠습니다.

Copilot밖에 없는 Microsoft 환경을 사용하는 분들에게는 이번 구성이 참고가 될 것입니다. 그 외의 선택지가 있는 분들은 다음 회차를 기다려 주세요.

Kawamura International에서는 구조화 데이터 기반 구축 및 번역·로컬라이제이션 업무에 대한 AI 활용을 현재 진행형으로 검증하고 있습니다. LDX hub의 StructFlow, RefineLoop, RenderOCR을 활용한 사례를 순차적으로 공개할 예정입니다.