LLM 모니터를 훈련하는 데 있어 교차 도메인 일반화 (Cross-Domain Generalization)는 얼마나 유용한가?

프롬프트가 입력된 언어 모델 (Prompted Language Models)을 분류기 (Classifiers)로 사용하는 것은 훈련 데이터가 제한적인 도메인에서도 분류를 가능하게 하지만, 미세 조정 (Fine-tuning)이 가져올 수 있는 견고성 (Robustness)과 성능 이점의 일부를 놓치게 됩니다. 우리는 각각 고유한 프롬프트를 가진 여러 분류 작업 (Classification Tasks)에 대해 훈련하는 것이, 새로운 분류 프롬프트가 있는 새로운 도메인에서의 성능을 향상시키는지 연구합니다. 우리는 이러한 훈련이 인접한 도메인으로 부분적으로 일반화되어, 훈련 중에 보지 못한 작업에 대한 분류 성능을 향상시킨다는 것을 보여줍니다. 그러나 우리는 데이터 도메인은 훈련 시와 동일하게 유지되면서 분류 프롬프트가 완전히 바뀌는 경우와 같이, 미세 조정된 모델이 프롬프트를 따르지 못하는 특정 에지 케이스 (Edge Cases)를 식별합니다. 우리는 분류 훈련 (Classification Training)을 일반적인 지시 이행 훈련 (Instruction Following Training)과 혼합할 수 있으며, (잘 수행될 경우) 이러한 훈련이 분류 훈련의 이점을 유지하면서 일반화 실패를 완화한다는 것을 보여줍니다. 놀랍게도, 우리는 이러한 '생각 없는 (No-thinking)' 지도 분류 훈련이 '생각이 있는 (With-thinking)' 분류 및 요약 (Summarization)으로 일반화될 수 있음을 확인하였으며, 이는 '생각 없는' 분류 훈련이 다른 종류의 분류기 및 모니터링 시스템을 구축하는 데 도구적으로 유용할 수 있음을 시사합니다.