합성 데이터 생성(Synthetic Data Generation)을 위한 활성화 스티어링(Activation Steering): 다운스트림

안전 탐지(Safety detection) 모델은 견고한 일반화(Generalization)를 위해 HHH(Helpful, Harmless, Honest; 유용성, 무해성, 정직성)를 위반하는 출력 예시를 필요로 하지만, 이러한 예시는 매우 희귀합니다. 활성화 스티어링(Activation Steering, AS)은 타겟 개념과 일치하는 응답을 생성하기 위한 데이터 효율적인 방법으로 부상했습니다. 본 연구에서는 AS가 다운스트림 분류기(Downstream classifiers)를 위한 고품질 학습 데이터셋을 생성할 수 있는지 조사하며, 이는 아직 검증되지 않은 문제입니다. 우리는 4개의 개념(Concepts) $ imes$ 2개의 모델 $ imes$ 4개의 스티어링 방법(Steering methods)에 대해 내재적(Intrinsic) 및 외재적(Extrinsic) 평가를 수행하는 이중 연구를 제시합니다. 내재적 측면에서, 스티어링 성공(개념 일치성, Concept alignment) 및 일관성(Coherence)이라는 분야 표준 루브릭(Rubric)을 넘어, 우리는 기존 문헌에는 없었던 품질 축으로서 샘플 및 세트 수준의 다양성(Diversity)을 도입하였으며, 스티어링 강도(Steering strength)를 높일수록 응답의 다양성이 감소한다는 것을 발견했습니다. 외재적 측면에서는, 가용 학습 데이터 내의 HHH 위반 예시를 스티어링된 생성물로 교체하고 탐지 분류기를 미세 조정(Fine-tune)했습니다. AS로 생성된 데이터는 4개 개념 중 3개에서 프롬프팅(Prompting)으로 생성된 데이터보다 더 나은 분류기 성능을 보였습니다. 그러나 136개의 AS 구성 중 41개만이 프롬프팅보다 우수한 성능을 보였으며, 이는 다운스트림 유용성(Downstream utility)이 성공(Success), 일관성(Coherence), 다양성(Diversity)을 동시에 만족하는 좁은 영역에 존재함을 나타냅니다. 이 세 가지 축의 조화 평균(Harmonic mean)은 성공과 일관성 단독보다 개념 전반에 걸쳐 다운스트림 AUROC와 더 일관되게 상관관계를 보였으며, 이는 AS 하이퍼파라미터(Hyperparameters)를 조정하는 실무자들에게 실용적인 휴리스틱(Heuristic) 목표를 제공합니다. 종합적으로, 우리의 결과는 안전 탐지 개선을 위한 합성 데이터 생성에서 AS의 잠재력을 강조하며, 다양성을 AS 조정을 위해 이전에 간과되었던 중요한 축으로 식별합니다.