NCO: 디코딩에서 부정적 제약 조건 처리를 위한 다용도 플러그인
요약
본 논문은 대규모 언어 모델(LLM)의 출력에서 욕설이나 개인 식별 정보(PII)와 같은 원치 않는 콘텐츠를 효과적으로 제어하는 새로운 디코딩 전략인 NCO를 제안합니다. 기존 방식들이 가진 높은 계산 비용과 복잡한 다중 제약 조건 처리의 어려움을 해결하기 위해, NCO는 여러 하드 및 정규 표현식 제약을 온라인으로 효율적으로 매칭하고 추적하여 상태 폭발 없이 오버헤드를 줄입니다. NCO는 빔 서치나 소프트 마스킹 같은 표준 LLM 추론 기법과 완벽하게 호환되며, PII 및 욕설 필터링 등 실제 응용 분야에서 그 효과를 입증했습니다.
핵심 포인트
- LLM 출력 제어의 중요성: 모델이 유해하거나 민감한 콘텐츠(욕설, PII)를 생성하는 것을 방지하는 것이 핵심 과제입니다.
- 기존 방법의 한계 극복: 기존의 후처리나 단일 오토마타 변환 방식은 계산 비용이 높거나 비실용적으로 커지는 문제가 있었습니다.
- NCO 제안: NCO는 여러 하드 및 정규 표현식 제약 조건을 온라인으로 효율적으로 매칭하고 추적하는 디코딩 전략입니다.
- 효율성과 호환성: 상태 폭발 없이 계산 오버헤드를 줄이며, 빔 서치나 소프트 마스킹 등 표준 LLM 추론 기법과 완벽하게 통합됩니다.
대규모 언어 모델(LLM)이 욕설이나 개인 식별 정보(PII)와 같은 바람직하지 않은 콘텐츠를 생성하는 것을 방지하기 위해 제어하는 것이 점점 더 중요해지고 있습니다. 이전 접근 방식들은 후처리나 리샘플링에 의존했지만, 최근 연구는 높은 계산 비용과 품질 저하를 완화하기 위해 출력 생성을 제어하는 제약 디코딩(constrained decoding) 방법으로 전환되었습니다. 하지만 출력의 어느 곳에서든 여러 개의 금지된 하드 제약 조건이나 정규 표현식(regex) 제약 조건이 나타나는 것을 방지하는 것은 계산적으로 어렵습니다. 간단한 해결책은 이러한 제약 조건들을 단일 오토마타(automaton)로 변환하여 디코딩 중 모든 금지 패턴을 추적하게 하는 것이지만, 이는 종종 비실용적으로 커집니다. 표준 정규 표현식 엔진 또한 보수(complement)나 교집합(intersection)과 같이 이러한 제약 조건을 구축하는 데 필요한 연산을 쉽게 지원하지 않습니다. 이러한 한계점들을 해결하기 위해, 우리는 NCO를 제안합니다. NCO는 유한 하드 제약 조건 및 정규 표현식 제약 조건에 걸쳐 온라인 패턴 매칭을 수행하여 상태 폭발(state explosion)을 유도하지 않으면서 계산 오버헤드를 줄이는 디코딩 전략입니다. NCO는 다양한 샘플링 방법과 빔 서치(beam search)를 포함한 표준 추론 전략과 완벽하게 호환되며, 확률적 억제를 위한 소프트 마스킹(soft masking)도 지원합니다. 우리는 PII 및 욕설 억제와 같은 실제 작업 전반에 걸쳐 그 효과를 경험적으로 입증했습니다. 우리의 구현은 https://github.com/hyundong98/NCO-Decoding.git 에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기