BARRED: 비대칭적 논쟁을 통한 맞춤형 정책 경계선 synthetic 훈련

맞춤형 정책 (custom policies) 을 위한 경계선 (guardrails) 배포는 여전히 어려운 과제로, 일반적인 안전 모델은 작업별 요구사항을 포착하지 못하며, LLM 프롬프팅은 경계 사례에서의 일관성 없는 성능과 높은 추론 비용을 겪습니다. 맞춤형 분류기 훈련은 정확성과 효율성을 모두 달성하지만, 획득 비용이 큰 대량의 라벨링된 데이터를 요구합니다. 우리는 작업 설명 (task description) 과 소수의 unlabeled 예시만 사용하여 충실하고 다양한 synthetic 훈련 데이터를 생성하는 프레임워크인 BARRED (Boundary Alignment Refinement through REflection and Debate) 를 제시합니다. 우리의 접근법은 도메인 공간을 차원 (dimensions) 으로 분해하여 포괄적인 커버리지를 보장하며, 다중 에이전트 논쟁 (multi-agent debate) 을 통해 라벨의 정확성을 검증하여 고신뢰도 훈련 코퍼스를 제공합니다. 다양한 맞춤형 정책에서 수행된 실험 결과, 우리의 synthetic 데이터로 미세 조정 (finetuned) 된 작은 언어 모델 (small language models) 은 최첨단 전용 LLM(추론 모델 포함) 과 전용 경계선 모델을 일관되게 능가합니다. 감감 연구 (ablation studies) 를 통해 차원 분해와 논쟁 기반 검증이 효과적인 미세 조정을 위해 필요한 다양성과 라벨 충실도를 보장하는 데 필수적임이 확인되었습니다. BARRED 프레임워크는 광범위한 인간 주석에 대한 의존성을 제거하여 정확한 맞춤형 경계선을 위한 확장 가능한 솔루션을 제공합니다.