Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Jev 모델을 일본어 상품명 판별에 적용한 검증 결과를 공유합니다. Jev는 텍스트 생성 없이 '예/아니오', '스코어'를 반환하는 분류 전용 모델입니다. 이 모델은 기존 정규표현식보다 문맥 변화가 큰 표현에서 높은 정확도를 보였으나, 스코어가 중간 범위일수록 결과의 변동성이 크다는 점을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Jev를 일본어로 판별해 보았으니, 그 검증 결과를 기록합니다.
Jev는 텍스트를 생성하지 않는 분류 전용 모델로, 질문에 대해 '예/아니오', '선택지', '스코어'를 확률과 함께 반환합니다.
상품 타이틀에 할인이나 판촉의 어필(訴求)이 포함되어 있는지 여부를 판별했습니다.
| 항목 | 내용 |
|---|---|
| 대상 | 일본어/영어 상품명 약 3,200건 |
| ... |
문맥에 따라 의미가 바뀌는 단어나 표현의 변화(言い回しの揺れ)가 큰 표현을 짧은 일본어 문장에서 찾아내는 판별에서는, 기존의 정규표현식 로직보다 정확도가 높은 결과를 얻었습니다.
문맥이나 표현의 변화가 관련된 판별이라면 정규표현식으로 대체할 가치가 높아 보이지만, 정해진 형태를 찾는 판별이라면 정규표현식이 더 확실합니다. 또한, 판별 이유가 반환되지 않기 때문에, 이유가 필요한 경우에는 별도로 고려해야 합니다.
공식에 따르면 학습의 주요 언어는 영어이며, 정확도 역시 영어가 가장 높다고 하지만, 이번 일본어 판별은 실용적인 수준의 정확도라고 느꼈습니다.
같은 입력과 같은 모델을 사용하더라도, 스코어는 매번 약간씩 달라집니다. 스코어가 중간(0.2~0.8)인 모호한 판별일수록 흔들리는 경향이 있었습니다.
모호한 스코어에 판별의 경계(임계값, しきい値)를 두면, 요청마다 판별 결과가 달라질 가능성이 있습니다. 그 전제 하에 결과를 저장하거나 사람의 확인을 거치는 설계가 필요할 것 같습니다.
이번 검증에서는 약 3만 번의 API 실행을 했으며, 5xx 에러(HTTP 520)가 발생했습니다. 다른 LLM과 마찬가지로, 다음은 설계 시 고려해야 할 사항입니다.
한 번의 요청에는 같은 입력에 대한 질문을 여러 개 넣을 수 있습니다. 여러 질문을 모아서 요청하면 소비 토큰 수를 절약할 수 있고, 속도 제한 대책이 되기도 합니다. 모아서 요청했을 경우에도 스코어 차이는 '2. 같은 입력이라도 스코어는 흔들립니다'의 변동 범위 내에 머물렀습니다.
응답 속도는 12 병렬로 9,023건을 약 168초 만에 처리 완료했습니다. 건당 평균 약 200ms 정도였습니다 (공개 정보에서는 70~500ms).
입력/출력 합계 1M 토큰당 약 $0.04였습니다 (대시보드 실측값). API 응답에 포함된 usage를 로그로 출력해 두면, 정확한 사용 토큰 수를 계산할 수 있습니다.
판별이 목적이라면, 다른 LLM보다 상당히 비용을 절감할 수 있습니다 (LLM에서도 프롬프트 캐시가 작동하면 차이는 줄어들지만).
