NCO: 디코딩에서 부정적 제약 조건 처리를 위한 다용도 플러그인

요약

본 논문은 대규모 언어 모델(LLM)의 출력에서 욕설이나 개인 식별 정보(PII)와 같은 원치 않는 콘텐츠를 효과적으로 제어하는 새로운 디코딩 전략인 NCO를 제안합니다. 기존 방식들이 가진 높은 계산 비용과 복잡한 다중 제약 조건 처리의 어려움을 해결하기 위해, NCO는 여러 하드 및 정규 표현식 제약을 온라인으로 효율적으로 매칭하고 추적하여 상태 폭발 없이 오버헤드를 줄입니다. NCO는 빔 서치나 소프트 마스킹 같은 표준 LLM 추론 기법과 완벽하게 호환되며, PII 및 욕설 필터링 등 실제 응용 분야에서 그 효과를 입증했습니다.

핵심 포인트

• LLM 출력 제어의 중요성: 모델이 유해하거나 민감한 콘텐츠(욕설, PII)를 생성하는 것을 방지하는 것이 핵심 과제입니다.
• 기존 방법의 한계 극복: 기존의 후처리나 단일 오토마타 변환 방식은 계산 비용이 높거나 비실용적으로 커지는 문제가 있었습니다.
• NCO 제안: NCO는 여러 하드 및 정규 표현식 제약 조건을 온라인으로 효율적으로 매칭하고 추적하는 디코딩 전략입니다.
• 효율성과 호환성: 상태 폭발 없이 계산 오버헤드를 줄이며, 빔 서치나 소프트 마스킹 등 표준 LLM 추론 기법과 완벽하게 통합됩니다.