요약

본 프로젝트는 3x Mac Mini 클러스터 환경에서 LFM-2.5-350M과 같은 소형 LLM을 활용하여 Reddit 포스트 요약 작업을 수행하는 방법을 다룹니다. 특히 GRPO(Generalized Reward Policy Optimization)를 기반으로 길이 페널티와 다양한 품질 보상(ROUGE-L, METEOR 등)을 결합한 최적의 보상 시스템을 구축하고 평가했습니다. 그 결과, 단순히 길이 페널티만 적용했을 때보다 여러 품질 지표가 통합된 복합 보상이 요약 품질 향상에 훨씬 효과적임을 입증했습니다.

핵심 포인트

• 소형 LLM(LFM-2.5-350M)을 활용하여 긴 텍스트의 고품질 요약을 성공적으로 수행할 수 있음을 보여주었습니다.
• GRPO를 사용하여 길이 페널티와 ROUGE-L, METEOR 등의 품질 보상을 결합한 복합 보상 시스템이 가장 우수한 성능(2.769/4)을 달성했습니다.
• 클러스터 환경에서 훈련을 분산시키기 위해 MLX를 사용하고 SyncPS 아키텍처와 vLLM-metal 프레임워크를 결합하여 효율적인 병렬 처리를 구현했습니다.
• 요약 품질 평가는 DeepEval 도구를 이용한 LLM-as-a-Judge(gpt-5) 방식으로, 충실도(Faithfulness), 포괄성(Coverage), 간결성(Conciseness), 명확성(Clarity) 네 가지 축으로 정량화되었습니다.