BARRED: 비대칭적 논쟁을 통한 맞춤형 정책 경계선 synthetic 훈련

요약

BARRED(Boundary Alignment Refinement through REflection and Debate)는 맞춤형 정책의 경계선 구축 문제를 해결하기 위해 설계된 프레임워크입니다. 이 방법은 작업 설명과 소수의 레이블링되지 않은 예시만을 사용하여, 도메인 공간을 분해하고 다중 에이전트 논쟁을 통해 고신뢰도의 합성 훈련 데이터를 생성합니다. 실험 결과에 따르면, BARRED로 미세 조정된 작은 언어 모델(SLM)은 최첨단 전용 LLM과 경계선 모델의 성능을 일관되게 능가하며, 대규모 인간 주석 의존성을 제거하여 확장 가능한 솔루션을 제공합니다.

핵심 포인트

• 맞춤형 정책 경계선 구축은 일반 안전 모델이나 단순 프롬프팅으로는 어려우며, 기존 분류기는 데이터 획득 비용이 높습니다.
• BARRED는 작업 설명과 소수 예시만으로 고품질의 합성 훈련 데이터를 생성하는 혁신적인 프레임워크입니다.
• 도메인 공간 분해와 다중 에이전트 논쟁을 결합하여 데이터의 포괄적 커버리지와 높은 라벨 정확성을 보장합니다.
• BARRED로 미세 조정된 소형 언어 모델은 대규모 전용 LLM에 필적하거나 능가하는 성능을 보여주며, 비용 효율적인 경계선 솔루션을 제시합니다.