많은 개방형 지시문(open-ended instructions)은 사용자가 확인했을 때 이득이 될 수 있는 여러 개의 유효한 답변을 가지고 있지만, 사후 학습(post-training) 과정은 종종 LLM의 출력 공간을 소수의 표준적인 응답 세트로 좁히는 경향이 있습니다. 우리는 지시 모델(instruct model)의 정렬(alignment) 이점을 보존하면서도 서로 다른 유효한 답변 모드들을 회복하기 위한 오프라인 DPO 데이터 구축 파이프라인인 REDIPO를 소개합니다. 각 프롬프트에 대해, REDIPO는 베이스 모델(base model)과 지시 모델(instruct model) 모두에서 응답을 샘플링하고, 지시 모델을 사용하여 베이스 모델의 응답을 재작성(rewrites)하며, 안전성과 지시 이행(instruction-following) 품질을 기준으로 후보군을 필터링합니다. 그런 다음 지시 이행 보상(instruction-following reward)이 유사한 후보들 사이에서 미세하게 다양한(marginally diverse) 응답을 선호하도록 선호 쌍(preference pairs)을 구축합니다. Qwen3-4B, OLMo-3-7B, LLaMA-3.1-8B 모델 전반에 걸쳐, REDIPO는 지시 체크포인트(instruct checkpoints) 대비 NoveltyBench의 distinct_k를 각각 134%, 33%, 44% 향상시킨 반면, 동일한 모델에서 DivPO는 다양성을 0%, -6%, -4% 변화시켰습니다. 이러한 이득은 MTBench, IFEval, Arena-Hard 성능을 대부분 유지하면서도, 직접적인 카테고리의 HarmBench 공격 성공률을 낮춥니다. 절제 연구(Ablations) 결과, 미세한 다양성 쌍 선택(marginal-diversity pair selection)과 베이스 응답 재작성(base-response rewriting)이 다양성 향상을 주도하는 반면, 필터링과 품질 제한적 쌍 구성(quality-bounded pairing)은 정렬을 유지하는 데 도움을 준다는 것을 보여줍니다. 종합적으로, 우리의 결과는 베이스 모델 생성물로부터 얻은 다양한 유효 답변들이 사후 학습의 정렬 이점을 유지하면서도 정교하게 구축된 선호 데이터를 통해 다시 도입될 수 있음을 보여줍니다. 우리는 코드와 데이터를 https://github.com/vsamuel2003/RiDiPO 에서 공개합니다.