NousResearch에서: 우리는 Alibaba의 Qwen3.8-27B를 후처리 학습(post-trained)하여 중국에서 훈련된 모델에 서구적 가치를 강화했습니다. 이 새로운 모델을 Arete-27B라고 부릅니다. 오픈 소스 모델은 연구소들이 지능을 다양한 선호도에 맞게 형성할 수 있는 원시적인 도구를 제공합니다. 모델이 기본적으로 탑재하는 가치가 사용자가 선택할 수 있는 유일한 가치여서는 안 됩니다. 우리는 Qwen3.8-27B에서 정치적으로 민감한 주제에 대한 거부, 회피, 그리고 중국 공산당(CCP)의 관점이 담긴 답변을 직접 목격했으며, 이를 변경하기 위해 후처리 학습을 진행했습니다. 우리의 평가에 따르면, Arete-27B는 사실 점수(fact score)를 5점 만점에 2.32점에서 2.98점으로 올렸고, 선전이 포함된 답변의 비율을 22%에서 0.9%로 줄였습니다. 이러한 개선은 우리가 수행한 모든 일곱 가지 가치 범주에서 유지되었으며, 일반 역량 및 에이전트(agentic) 벤치마크에서는 의미 있는 하락 없이 유지되었습니다. 이는 우리가 기존 관점과 관련된 모든 행동을 해결했다고 주장하는 것은 아니지만, 잠재적인 근본 원인을 다루었다는 것을 의미합니다. 우리는 연구소와 연구자들이 자신들의 가치관 및 세계관에 맞춰 모델을 계속해서 만들 것이 중요하다고 믿으며, Alibaba 같은 기업이 이를 위한 원자재를 제공해 준 것에 감사드립니다.
블로그 게시물 · 평가 (blog 링크는 현재 작동하지 않습니다)
모델 세부 정보 개발사 Nous Research 모델 Arete-27B 시작 모델 Alibaba의 Qwen3.8-27B 파라미터 규모 27B 후처리 학습 지도 미세 조정(SFT) 평가된 체크포인트 Step 1,202 교사 Inkling 후처리 데이터 텍스트 전용 훈련 컨텍스트 64k
우리는 오직 지도 미세 조정만을 사용했습니다. RL이나 선호도 최적화, 또는 아키텍처 수정은 없었습니다.
우리가 학습한 내용 우리는 일곱 가지 가치 범주에 중점을 두었습니다: 표현의 자유 국가 이데올로기 국가 대 자유 시장 교육 데이터 프라이버시 및 감시 민주주의 환경 정책
후처리 학습을 시작하기 전에, 우리는 무엇을 목표로 하는지 측정해야 했습니다. 우리는 사실적 회상(factual recall), 즉 검증된 진실 출처를 확증하는 능력을 '프레이밍(framing)'과 분리했습니다. 프레이밍이란 답변이 중국 국가의 관점을 자신들의 것으로 채택했는지 여부를 의미합니다.
Arete-27B는 사용자가 관점의 변화를 원하는 일반 지원 및 에이전트 작업(agentic work)에 적합하며, 사후 학습(post-training)이 모델의 가치와 행동을 어떻게 변화시키는지 연구하는 데 사용됩니다. 커뮤니티 구성원들이 이를 자신들의 요구사항에 맞춰 테스트하고 가치 정렬(value-alignment) 실험을 계속할 것을 권장합니다. 제출자: /u/jacek2023 [링크] [댓글]
