OpenAI 프라이버시 필터 vs GLiNER: 600 PII 샘플 평가

요약

본 기사는 두 가지 오픈 웨이트 PII 감지 모델인 GLiNER large-v2.1과 OpenAI/privacy-filter를 비교 평가한 결과를 담고 있습니다. 이 평가는 6가지 PII 카테고리를 포함하는 대규모 샘플을 사용하여 진행되었으며, 각 모델의 성능 차이와 장단점을 분석했습니다. OpenAI/privacy-filter는 높은 경계 중첩(boundary overlap) 점수와 빠른 CPU 추론 속도를 보였으나, 토크나이저 오프셋 문제로 인해 엄격한 정밀 매칭에서는 낮은 점수를 받았습니다. 반면 GLiNER는 리콜을 최우선으로 할 때 유리하며, 커스텀 엔티티 타입 추가에 용이합니다.

핵심 포인트

• OpenAI/privacy-filter는 빠른 CPU 추론 속도(약 2.8 샘플/초)와 높은 경계 중첩 성능을 제공하여 정밀도와 속도가 중요한 경우 적합합니다.
• GLiNER large-v2.1은 리콜(Recall)을 최우선으로 하거나 커스텀 엔티티 타입이 필요할 때 유리하며, 기본 임계값 튜닝(예: 0.7)의 중요성을 보여줍니다.
• OpenAI/privacy-filter는 GPT 스타일 BPE 토크나이제이션 사용으로 인해 엄격한 정밀 매칭에서 오프셋 오류가 발생하여 낮은 점수를 받을 수 있습니다.
• 모델 선택은 목적에 따라 달라지며, 높은 리콜이 필요하면 GLiNER를, 빠른 속도와 정밀도가 중요하면 OpenAI/privacy-filter를 선택하는 것이 좋습니다.