「北広島市」が広島県ではない判定：文字列一致から新しい AI モデル Jev に置き換えた記録

from typesafe_sdk import Choice, TypeSafeClient
import argparse
def build_parser():
...

$ python jev-test.py --message 

（1달러를 150엔으로 환산하면 약 0.004엔입니다。）

테스트에서 충분한 효과를 체감했기 때문에 실제로 서비스에서 집계된 기사 데이터(200건)를 사용하여 Jev와 기존 방식(문자열 일치)을 비교했습니다.

- 대상: 최근 200건의 기사 (취약점 정보 데이터베이스인 JVN의 기사는 도도부현과 거의 관련이 없으므로 제외)
- 프롬프트: 사전 검증에서 발견된 인명 오판(테스트 패턴 4)에 대응하기 위해 '지명과 같은 문자를 포함하는 인명은 판단 자료로 삼지 않는다'는 내용을 추가했습니다.
- 정확성 여부는 차이가 나는 기사를 한 건씩 눈으로 확인하여 판단했습니다.

| 판정 | 건수 |
|---|---|
| 양쪽 모두 '해당 없음' | 163 |
| ... | 
차이점은 전 건에 걸쳐 Jev가 옳거나 타당했고, 기존 방식이 우세했던 경우는 0건이었습니다.

- Jev만 (9건): 기존 방식의 누락을 발견했습니다.
- 사전에 없는 지명/표기: 탓츠카 시립 병원 → 효고현, 코프 야마구치 → 야마구치현, JA 엔슈 무사키 → 시즈오카현
- 조직명으로부터 본사 소재지를 추정: 게이오 전철・게이오 플라자 호텔 → 도쿄도, 니치대 → 도쿄도, 간사이 가쿠인 대학교 → 효고현, 세이부 전철 → 사이타마현 (피해는 예약 사이트였지만, 본사 소재지로는 정확하므로 타당하다고 판단)

- 기존만 (1건): 기존 방식으로 '리코 블랙람스 도쿄'의 팀명에 부분 일치한 오판입니다. Jev의 '해당 없음'이 옳습니다.
- 기존이 복수(1건): 이는 기존 방식으로 '야마구치 도쿄 이과대'를 '도쿄', '야마구치' 양쪽에 분류했던 예시입니다. Jev는 야마구치현만으로 정확하게 분류했습니다.
- Jev의 Choice 프리미티브에서는 단일 선택만 가능하지만, 정말로 여러 현에 걸쳐 있는 기사는 200건 중 0건이므로 실용상 문제가 없어 보였습니다 (공식 문서에서는 복수 적용되는 경우 레이블별로 Noul을 사용하는 방법을 소개하고 있습니다).

기사 중에 지명이 없더라도 **피해 조직의 본사 소재지로부터 추정하는 것은 인정한다**는 방침으로 Jev로 전환을 결정했습니다.

이상, 이번에는 도입을 결정한 단계까지입니다.

주의할 점으로, 문자열 일치와 달리 Jev의 결과는 프롬프트 작성 방식이나 기사의 작성 방식에 따라 달라집니다. 실제로 인명 오판을 바로잡으려고 프롬프트를 조정했더니, 이번에는 다른 케이스에서 오판이 나오기도 했습니다.

그래서 더 고안하여 도입했지만 그것은 별도 기사로 쓰겠습니다.

여기까지 읽어주셔서 감사합니다.