도쿄도의 1.1억 엔 규모 '행정 특화 AI 모델' 시스템 구성도가 너무 허술해서, 전직 엔지니어인 제가 스마트한 대안을 제안합니다

안녕하세요, 전직 엔지니어로 시스템 등을 만들었던 야마다 켄타로입니다.

지금은 약간 니치(Niche)한 영역(부유층/경영자 대상)에서, 완전 격리형 로컬 AI(Private AI) 환경을 구축하는 일을 하고 있습니다.

토요일 아침, 커피를 마시며 도쿄도가 공모를 시작한 최대 1억 1,000만 엔 규모의 사업, 「대학 등과 연계한 행정 특화형 국산 AI 모델 구축·실증 사업」의 모집 요강과 공식 사양서를 읽고 있었는데…….

게재되어 있던 시스템 구성도를 본 순간, 너무나도 불합리해서 커피를 뿜을 뻔했습니다. (웃음)

이것은 현재의 모던한 LLM(대규모 언어 모델)의 진화 속도를 아는 엔지니어가 설계에 전혀 관여하지 않은, 전형적인 「헤이세이형 레거시 설계(불필요한 이중 투자)」가 되어 있더군요.

엔지니어 시점에서 어디가 어떻게 위험한지, 그리고 현대의 생성형 AI 엔지니어링이라면 「지금 당장 프롬프트(Prompt) 한 장, 비용 실질적 0엔」으로 어떻게 스마트하게 구현해야 하는지, 가볍게 해부해 보겠습니다.

공식 시스템도를 보면, 그들은 이미 전 직원용 생성형 AI 기반인 「A1」이라는 것을 가지고 있음에도 불구하고, 굳이 그 외곽에 별도의 시스템을 만들려고 하고 있습니다.

그리고 그 안에 「종합적인 문의 기능」이라는, 요컨대 「분류 라우터(Router)」 프로그램을 개발하고, 그 아래에 「〇〇 업무 전문 언어 모델」이라는 개별적인 추가 학습(Fine-tuning, 파인튜닝)을 시킨 모델을 줄줄이 양산하여 질문을 분류하려고 하고 있습니다.

「재무 질문은 재무 뇌로, 인사 질문은 인사 뇌로 수동으로 분류하면 되잖아!」라는, 쇼와·헤이세이 시대의 웹 시스템 개발 발상 그대로 달려 나간 것이겠지요.

하지만 이것은 완전히 바퀴의 재발명(Wheel Reinvention)입니다.

지금의 GPT-4o나 Gemini, Claude 3.5 Sonnet이라도, AI를 조금 다뤄본 엔지니어라면 모두 알고 있듯이, 주요 LLM에는 「Function Calling(함수 호출 / 도구 이용)」이나 고도의 「Intent(의도) 분석」 기능이 표준으로 탑재되어 있습니다.

굳이 「재무용 뇌」, 「인사용 뇌」 같은 무거운 개별 모델을 여러 개 만들어 서버(GPU)에 상시 구동해 두지 않아도, 중앙의 똑똑한 범용 모델이 하나만 있으면 됩니다.

AI 스스로가 사용자의 질문문을 읽고 「아, 이것은 재무 매뉴얼을 참조하러 가야겠구나」라고 스스로 컨텍스트(Context, 문맥/의도)를 해석하고, 백엔드에 있는 적절한 데이터베이스(PDF 등)를 자신의 지성으로 자동 선별하여 가져오는 능력이 기본적으로 갖춰져 있기 때문입니다.

즉, 그들이 1.1억 엔을 들여 만들려는 「라우터 + 모델 양산 시스템」은 지금 당장 지시서(Prompt) 한 장으로 완전히 대체 가능합니다.

데이터 구조화라는 투박한 기본을 피하고, 「독자 모델 구축(Fine-tuning)」이라는 그럴싸한 예산 소진으로 도망치면, 몇 달 후에 다음과 같은 데스 게임이 시작됩니다.

개별 모델을 서버상에서 상시 호스팅하는 것은 초고성능 GPU의 메모리를 엄청나게 잡아먹습니다. 그것을 업무별로 수십 개씩 상시 구동해 두는 것은 유지비만으로도 1.1억 엔의 예산이 순식간에 녹아버릴 것입니다.

기존 LLM에 억지로 새로운 행정 지식을 집어넣으면(Fine-tuning 하면), 그때까지 가지고 있던 범용적인 대화 능력이나 다른 지식을 깨끗이 잊어버리는 현상(Catastrophic Forgetting, 파멸적 망각)이 일어납니다.

행정 세계는 매년 법률이나 조례가 바뀌지요. 바뀔 때마다 양산한 모델을 매번 거액의 비용과 시간을 들여 재학습시켜야 할까요? 확실히 막다른 길에 다다를 것입니다.

만약 제가 이 예산을 스마트하게 구현한다면, AI의 지성을 100% 활용한 「두뇌와 데이터의 완전 분리형 아키텍처(Architecture)」를 선택하겠습니다.

두뇌(LLM)는 중앙의 하나로 고정한다: 뇌 자체에는 행정 생데이터를 절대로 학습시키지 않는다. 범용성이 높은 최고봉 모델을 딱 하나만 중앙에 배치한다.

데이터는 「AI-ready」하게 구조화하여 외곽에 둔다: 행정 정보의 모든 데이터를 AI가 단 한 글자의 오차도 없이 정확하게 참조할 수 있는 데이터베이스로서, 모델 외곽에 완전히 분리하여 보유한다.

이렇게 하면 내일 법률이나 조례가 바뀌더라도, 외곽에 있는 데이터베이스의 내용(PDF나 구조화 데이터)을 최신 것으로 교체하는 것만으로 시스템 전체의 업데이트가 1초 만에 완료됩니다.

모델의 재학습 비용은 영원히 0원. 동작이 흔들릴 걱정도 없음. 이것이야말로 가장 아름답고 지속 가능한 스마트한 구현입니다.

사양서를 살펴보면, "애초에 행정 조직 내에 AI를 제대로 만들 수 있는 인력이 없으니, 대학 기관 등의 외부 조직을 끌어들여 만들게 하고 싶다"라는 어른들의 사정이 어렴풋이 보입니다. 혹은, 이 설계 때문에 매년 발생할 '재학습을 위한 유지보수 예산'을 나중에 내부 벤더가 통째로 계속 챙겨가기 위한 복선이 아닌가 의심스러울 정도의 어리석은 책략입니다…… (웃음).

실제로 직접 손을 움직여 시스템을 만들어 온 현장의 AI 엔지니어가 조속히 설계를 다시 해주기를 간절히 바랍니다.

【추신】

거대 테크 기업으로의 정보 유출(검열)을 완전히 차단하고, 자신의 PC 환경에서만 동작하는 AI가 역시 최고입니다. 저의 활동은 프로필 URL( https://kentyama.github.io/ )에서 확인하실 수 있습니다.

그럼, 다음에 뵙겠습니다.