Manacá-1B-Instruct-2: 네이티브 브라질 포르투갈어 LLM의 재현 가능한 안전 정렬에 대한 연구. Negative DPO 결과

브라질 포르투갈어는 오픈 소스 언어 모델에서 여전히 충분히 다뤄지지 않은 분야이며, 몇 안 되는 안전 정렬(safety-aligned) 모델들조차 무엇이 작동하지 않았는지에 대한 기록이나 통계적 유의성을 갖춘 비교 검증을 거의 문서화하고 있지 않습니다. 본 논문에서는 Manacá-1B (1.72B 파라미터, PT-BR용으로 처음부터 훈련됨)의 2세대 후속 훈련 정렬(post-training alignment) 모델인 Manacá-1B-Instruct-2를 제시합니다. 이 모델은 291,223개의 예시로 구성된 SFT 코퍼스(SFT corpus)를 사용했습니다. 우리는 모두 부정적인 세 가지 DPO 시도(DPO attempts)를 문서화하며, 여기에는 학습 보상 마진이 1.0에 도달하지만 자유 생성(free generation)은 전혀 변하지 않는 사례가 포함됩니다. 또한 안전성(safety)이 전용 안전 SFT(dedicated safety-SFT)(LLM-jp AnswerCarefully 스타일)를 통해 세 번의 반복을 거쳐 안전 도움성 경계(safety-helpfulness frontier)를 닫으면서 확보되었음을 보여줍니다. 안전 SFT 혼합물 내 일반 데이터 비율(10%에서 60%)에 대한 통제된 스캔은 40~50% 지점에서 무릎점(knee point)을 보이는 비단조적 과잉 거부 곡선(non-monotonic over-refusal curve)을 보여줍니다. 최종 모델은 동일한 항목들에 대해 네 개의 외부 PT-BR 모델과 비교되었으며, Wilson 신뢰 구간 및 Holm-Bonferroni 보정된 쌍별 McNemar 검정을 사용했습니다: 이 모델의 안전성 구간 하한(94.1%)은 모든 기준선(baselines)의 상한보다 높습니다. 또한 우리는 LLM 평가자(LLM-judge) 평가에 대한 방법론적 발견 사항도 보고합니다: MT-Bench-PT의 6개 안전 항목 중 2개에서, 평가자는 어떤 응답을 평가하더라도 점수를 부여하는 것을 명백히 거부하여 프로젝트의 모든 이전 보고서에서 해당 카테고리의 유효 N을 침묵적으로 감소시키고 있습니다. 우리는 이를 n-gram 탈오염 검사(n-gram decontamination check)와 일반 능력이 정렬 방법론보다는 사전 훈련 규모에 기인한다는 것을 보여주는 Chinchilla 기반 컴퓨트 예산 표(Chinchilla-anchored compute-budget table)로 보완합니다. 보고된 모든 숫자를 생성하는 모든 코드, 원시 데이터, 로그 및 스크립트는 공개적으로 배포됩니다.