LLM 임베딩 공간은 전문가의 구조를 복원할 수 있는가?

요약

LLM 임베딩 공간이 정신 건강 전문가가 정의한 증상 구조를 얼마나 정확하게 복원할 수 있는지 연구했습니다. Qwen 모델을 통해 사전 학습 및 미세 조정된 임베딩이 전문가의 범주 기하학적 구조와 정렬됨을 확인했습니다.

핵심 포인트

• 사전 학습된 임베딩은 정신 건강 도메인의 전문가 구조와 정렬됨을 확인
• 미세 조정(Fine-tuning)은 미세한 범주 수준의 정렬을 강화함
• 모델 규모가 커질수록 제로샷 및 지도 학습 정렬 성능이 향상됨
• 단순 분류 성능보다 교란 요인을 제어한 기하학적 구조 분석이 중요함