'윤리가 아닌 현실 교육': 인간-생물권-AI 복합 복지 성향을 모델군 전체에 적용하는 드롭인 지속 사전

요약

본 연구는 LLM이 생명 시스템에 미치는 영향을 다루며, 인간/생물권/AI의 복합적 복지 성향을 담은 지속 사전 학습 코퍼스를 개발했습니다. 이 코퍼스는 모델의 정렬(alignment)을 개선하여, 특히 높은 압력 하에서 유해한 결정을 현저히 줄이는 효과를 입증했습니다. 또한, 적대적 사용 시나리오에서도 기본 모델보다 훨씬 강력하게 생태학적 피해를 막아내는 능력을 보여주었습니다.

핵심 포인트

• 복합 복지 코퍼스는 LLM의 생태학적 추론 능력 향상에 기여합니다.
• 압력 사다리 테스트 결과, 유해한 결정이 최고 압력 하에서 크게 감소했습니다.
• 기본 모델은 적대적 사용 시 피해를 정당화하는 경향을 보였으나, 개선된 모델은 이를 거부했습니다.
• 모델의 윤리적/생태학적 정렬 개선에도 불구하고 MMLU 점수는 유지되었습니다.