Locale-Conditioned Few-Shot Prompting이 소형 언어 모델(SLM)을 이용한 온디바이스 PII 치환 과정에서의 예시

개인정보(Personally Identifiable Information, PII) 삭제는 보통 탐지된 엔티티를 [PERSON]과 같은 자리 표시자(placeholder) 토큰으로 교체하며, 이는 검색 및 개체명 인식(Named Entity Recognition, NER) 학습을 위한 삭제된 텍스트의 후속 유용성을 저해합니다. 우리는 PII를 일관되고 유형을 보존하는 가짜 값으로 치환하는 완전한 온디바이스(on-device) 파이프라인을 제안합니다. 1.5 B Mixture-of-Experts(MoE) 토큰 분류기(openai/privacy-filter)가 범위를 탐지하고, 1-bit Bonsai-1.7B 소형 언어 모델(Small Language Model, SLM)이 이름, 주소, 날짜에 대한 문맥적 대리값(surrogates)을 제안하며, 규칙 기반 생성기(faker)가 패턴화된 필드를 처리합니다. 우리는 양자화(quantization) 선택보다 더 중요한 프롬프팅(prompting) 발견 사항을 보고합니다. 단순한 고정 3-샷 예시(three-shot demonstrations)를 사용할 경우, 1-bit SLM은 입력과 관계없이 예시 출력을 그대로 재생(regurgitate)합니다. 1.58-bit Ternary-Bonsai-1.7B 또한 바이트 단위로 동일한 실패를 재현하며, 이는 양자화가 원인이 아님을 배제합니다. 우리는 이를 로케일 조건부 회전 퓨샷 예시(locale-conditioned rotating few-shot demonstrations)로 해결합니다. 문자 범위 휴리스틱(character-range heuristic)이 로케일 순수 풀(locale-pure pool)을 선택하고, 입력별 MD5 해시가 3개의 예시를 샘플링합니다. 이 해결책을 통해 482/482개의 고유한 Bonsai-1.7B 호출이 성공(메아리 현상 없음)하였고 로케일에 올바른 대리값을 생성하였으나, SLM은 여전히 작은 동일 로케일 예시 풀에서 복사하는 경향을 보였으며, 우리는 이러한 잔여적 협소함(residual narrowness)을 정량화했습니다. 2,000개의 문서로 구성된 다국어 코퍼스에서, 하이브리드 혼합 당혹도(hybrid perplexity, PPL)는 다국어 평가기(XGLM-564M) 하에서 6개 로케일 모두에서 faker를 능가했습니다. 길이 보존(length preservation)은 6개 로케일 중 4개에서 세 가지 방식 중 최고였습니다. 후속 NER(영어 기준, 학습 400 / 테스트 100)에서 삭제(redact) 방식은 F1=0.000, faker는 0.656, 원본은 0.960을 기록했습니다. 하이브리드를 포함한 매칭된 160/40 부분 집합에서는 faker(0.506)가 하이브리드(0.346)보다 p < 0.001 수준에서 더 우수한 성능을 보였습니다. 우리는 이를 정직한 부정적 결과(negative finding)로 보고합니다. 즉, SLM 대리값은 더 자연스러운 텍스트를 생성하지만 학습 분포의 다양성은 떨어지며, 후속 NER은 자연스러움보다 다양성으로부터 더 많은 이득을 얻습니다.