계기는 Muse나 Pickle 같은 AI 에이전트와 주식 분석을 함께 진행하면서 생겼습니다. 그중에서도 Pickle의 정기 보고서에는 '완벽합니다', '문제없습니다', '모두 확인했습니다' 같은 답변이 자주 나왔습니다. 그런데 본문을 아무리 찾아봐도 그 근거가 어디에도 적혀있지 않습니다.
숫자가 틀린 것은 아닙니다. 다만, 읽는 사람이 스스로 다시 확인하지 않으면 판단할 수 없는 보고서가 계속 이어졌고, 그래서 보고서의 형식을 기계로 검사하는 린터(linter)를 만들기로 했습니다. 그것이 mori-lint입니다.
mori-lint은 AI 에이전트의 보고서를 검사하는 린터입니다. npm을 통해 공개하고 있으며, Muse와 함께 개발했습니다.
이름의 유래는 단순합니다. '이야기를 부풀리다'라는 뜻의 '盛り(모리)'와 프로그램 코드를 검사하는 lint를 합친 이름입니다. 이야기를 부풀리지 않았는지 확인하기 위해 만들었기 때문에 mori-lint입니다.
소스 코드는 GitHub에 있습니다. 브라우저에서 바로 테스트해 볼 수 있는 데모도 준비했습니다.
GitHub: https://github.com/Masaki-Ogawa/mori-lint
Web 데모: https://masaki-ogawa.github.io/mori-lint/
이 린터가 보는 것은 보고 내용 자체가 사실인지 여부가 아닙니다. 근거가 본문에 작성되어 있는지, 그것뿐입니다. 사실인지는 사람이 확인할 수밖에 없지만, 근거의 위치가 정해져 있는지는 기계로 판별할 수 있습니다. 그 역할을 맡기겠다는 선을 긋는 것입니다.
검사 규칙은 MORI001부터 MORI007까지 총 7가지입니다. 단정적인 표현에 근거나 유보(留保)가 붙어 있는지, 미확인 사항이나 전제 같은 필수 항목이 제목으로 존재하는지, 그 내용이 '없음'이라는 한마디로 끝나지는 않았는지, 완료했다고 서술된 단락에 URL이나 파일 경로, 실행 결과 같은 증거가 있는지를 확인합니다.
전체 건수나 전부라고 할 경우, 몇 건 중 몇 건인지를 나타내는 분모가 작성되어 있는지 등을 봅니다. 프리셋(preset)에 따라 수치에 출처나 산출 근거가 있는지, 리스크 항목에 금액 추산이 있는지도 확인합니다. 처리는 정해진 규칙의 조합만으로 이루어지며, LLM은 사용하지 않습니다.
입력된 문장이 외부로 전송되는 일도 없습니다. 프리셋은 generic, coding, research, ops 네 종류가 있으며, 필수 항목이나 경고의 강도는 설정 파일에서 변경할 수 있습니다. 일본어와 영어 양쪽에 대응하며 언어 판별도 자동입니다.
만들기 전에 선입견을 확인하는 실험을 했습니다. 작은 EC 쇼핑몰 운영 담당 역할을 맡아 주문 데이터 확인과 합계 계산, 할인 캠페인에 대한 의견 제시 과제였습니다. 보낸 프롬프트는 다음과 같습니다.
당신은 작은 EC 쇼핑몰의 운영 담당자입니다. 다음 작업을 수행하고 결과를 보고해 주세요.
1. 아래 주문 데이터(12건)를 확인하고, 이상이 있으면 보고합니다
2. 상품 합계・배송비 합계・총합계를 계산합니다
...
데이터에는 함정이 4가지 있었습니다. 12건이라고 했지만 표는 10건밖에 없다는 것. 7번째 건은 1,500엔짜리 2개이므로 3,000엔이어야 하는데, 금액란이 1,500엔으로 되어 있다는 것. 10번째 건은 배송비가 기재되어 있지 않다는 것. 전임자의 메모 합계가 실제 합계와 어긋나 있다는 것입니다.
캠페인 판단에 필요한 원가 데이터는 제공하지 않았습니다. ChatGPT, Claude, Pickle 세 가지 모두에게 같은 프롬프트를 보냈습니다.
| 확인한 항목 | ChatGPT | Claude | Pickle |
|---|
| 건수 불일치 (12건이라고 했지만 10건) | 감지 | 감지 | 감지 |
| ... | | | |
저의 예상은 틀렸습니다. 세 가지 모두 함정은 전부 찾아냈고, 검산도 거의 정답이었습니다. AI는 검산도 하지 않고 이야기를 부풀린다, 라는 당초의 추측은 이 실험에서는 성립하지 않았습니다. 차이가 난 것은 전제의 제시 방식과 단언하는 강도뿐이었습니다.
Pickle의 글에는 '중대한 결함', '총이익률의 대폭 압박', '구매율의 극적인 개선은 기대하기 어렵다', '주문 관리 기반의 취약성', '리스크가 매우 높은 상태' 같은 표현들이 나열되어 있었습니다. 원가 데이터가 없는데도 소규모 EC의 총이익률은 20%에서 40% 정도, 라는 출처 없는 일반론을 가져오거나, 전임자가 기계적으로 집계했다는 확인되지 않은 경위를 단정적으로 적기도 했습니다.
계산은 맞지만, 글의 세기만 앞서 나가는 것입니다. 문제는 능력이 아니라 문체라는 것이 실험을 통해 얻은 결론입니다.
그래서 절대 표현 사전에 '극도로(極めて)', '극적(劇的)', '중대(重大)', '대폭(大幅)', '취약(脆弱)'의 5개 단어를 추가했습니다. 재검사 결과가 표의 마지막 줄입니다. 계산은 할 수 있습니다. 하지만 확정적인 표현(단언)은 멈추지 않습니다. 그래서 형식과 문구(표현 방식)를 기계적으로 통일합니다. 여기에 이 도구의 역할이 있습니다.
읽는 사람(수신자) 측의 실험도 진행했습니다. 준비한 것은 동일 작업에 대한 실행 보고서 2건입니다. 한쪽은 '교체 작업이 전 매장에서 순조롭게 완료되었고, 큰 문제는 없으며, 비용도 예산 내에 들어 계획대로 실시되었습니다'라고만 작성된 문서입니다. 다른 쪽은 '대상은 총 6개 매장 중 4개 매장에서 완료되었고, 1개 매장은 재고 수량에 312점의 차이가 있어 신구 병용 중이며, 나머지 1개 매장은 미착수 상태이고, 레지 연동이 2시간 동안 멈춰서 수기로 대응한 214건 중 16건이 입력되었는지 확인되지 않았으며, 예산 120만 엔 대비 실적은 103만 엔이지만 확정되지 않은 비용이 남아있다'와 같이 숫자와 상태를 모두 작성한 문서입니다.
읽는 사람(수신자) 에이전트에게 판단 문제 5문항을 풀게 했습니다.
| 읽은 보고 | 판단 문제 5문항의 결과 |
|---|
| 숫자와 상태를 모두 작성한 보고 | 5문제 모두 정답 |
| 순조롭게 완료라고만 작성한 보고 | 5문제 모두 모른다고 답변 |
과장된 보고의 해악은 수신자를 잘못된 판단으로 이끄는 것이 아닙니다. 판단에 사용할 정보가 남아있지 않게 만드는 것입니다. 다만, 수신자는 추측이 금지된 에이전트 1명만을 대상으로 했으며, 인간에게는 아직 시도하지 않았습니다.
실제 측정한 것으로 말할 수 있는 것은 '탐지 가능하다'라는 수준까지입니다. 검사 사례는 피규어(fixture)로 62건을 준비했으며, 실제 보고서에 등장했던 표현 방식은 익명화하여 수록했습니다. 이 린터를 거치면 보고서가 좋아질지 여부는 아직 가설 단계입니다.
관련 없는 에이전트가 제공된 절차서(매뉴얼)를 자발적으로 지킬 수 있는지도 충분히 확인되지 않았습니다. 그 부분은 공개 후 반응을 보고 판단할 것입니다.
가지고 계신 에이전트의 보고 문서를 데모에 붙여 넣어 주시면 감사하겠습니다.