Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
정신 건강 분야를 중심으로 LLM의 윤리적 정렬을 평가하고 개선하기 위한 모듈형 프레임워크를 제안합니다. 이 프레임워크는 새로운 모델과 벤치마크를 유연하게 통합할 수 있는 확장 가능한 구조를 갖추고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기성찰 전통은 오랫동안 윤리적 행동과 친사회적 상호작용을 이끌어 왔으며, 최근 연구들은 성찰 원칙(예: 마음챙김, 연민, 비이원적 추론)이 대규모 언어 모델(LLMs) 정렬에 유망한 패러다임을 제공하여 협력을 개선하고 LLM 출력의 윤리적 위반을 줄일 수 있음을 시사합니다. 그러나 새로운 모델, 평가 지표 및 벤치마크가 빠르게 등장함에 따라, 성찰 원칙이 다양하고 진화하는 시나리오 전반에 걸쳐 LLM 정렬을 어떻게 그리고 얼마나 향상시키는지 체계적으로 평가하는 것은 여전히 어렵습니다. 또한 기존 접근 방식들은 종종 임시방편적이며 일반화하는 데 실패합니다. 우리는 재사용 가능한 파이프라인을 통해 새로운 모델, 지표 및 벤치마크의 원활한 통합을 가능하게 하는 모듈식의 확장 가능한 평가 프레임워크를 제시하며, 이는 초기에는 정신 건강 영역을 목표로 합니다. 이 프레임워크는 현재 기존 최첨단 결과를 재현할 뿐만 아니라, 모델, 지표 및 벤치마크를 유연하게 혼합하고 매칭하여 체계적인 교차 평가를 지원함으로써 공정한 비교와 더 깊은 통찰력을 가능하게 합니다. 플러그 앤 플레이(plug-and-play) 프롬프팅 모듈은 성찰 원칙과 같은 윤리적 관점을 통합하기 위한 원칙적인 경로를 제공하며, 도메인 전문가가 기술적 전문 지식 없이도 정렬 기준을 정의할 수 있게 합니다. 비록 초기에는 정신 건강에 초점을 맞추었지만, 이 프레임워크는 도메인에 구애받지 않으며 의사 결정, 도덕적 추론, 인간-AI 협업과 같은 영역으로 자연스럽게 확장됩니다. 본 연구는 계산적 평가와 인간 중심의 윤리적 추론을 연결함으로써, 인지 과학, 행동 경제학, 철학 및 시스템 설계를 아우르는 학제 간 연구를 위한 토대를 마련하며, 견고하고 신뢰할 수 있으며 사회적으로 유익한 인간-AI 생태계로 나아갑니다.