MORL-A2C: MOPI-HFRS의 건강성 최적화를 위한 다중 목적 강화학습 (Multi-Objective Reinforcement

건강하지 못한 식습관은 미국에서 지속적인 공중 보건 문제로 남아 있으며, 영양학적 건강을 고려하지 않고 사용자 선호도만을 우선시하는 추천 시스템으로 인해 더욱 악화되고 있습니다. 본 연구의 기반이 되는 다중 목적 개인화 해석 가능 건강 인지 식품 추천 시스템 (Multi-Objective Personalized Interpretable Health-aware Food Recommendation System, MOPI-HFRS)은 Pareto 기반 최적화를 통해 선호도, 건강, 다양성을 공동으로 최적화함으로써 이 문제를 해결합니다. 그러나 이 접근 방식은 정적이고 단계별(per-step) 트레이드오프(tradeoff) 솔루션에 의존하기 때문에 식단 의사결정의 순차적 특성을 포착하지 못합니다. 우리는 건강-선호도 축을 목표로 하는 MOPI-HFRS의 순차적 의사결정 확장 모델인 MORL-A2C를 소개합니다. 고정된 GNN 임베딩을 활용하여, MORL-A2C는 스칼라화된 관련성/건강 보상 (scalarized relevance/health reward)을 사용하는 Advantage Actor-Critic (A2C) 알고리즘을 통해 추천을 K-단계 리랭킹 (K-step reranking) 문제로 공식화합니다. 정책은 고정된 임베딩에서 유도된 내적 (dot-product) 랭커를 대상으로 행동 복제 (behavior cloning)를 통해 웜 스타트 (warm-started)됩니다. 또한 우리는 베이스라인 성능을 과소평가했던 MOPI-HFRS 평가 파이프라인의 중대한 버그를 식별하고 수정하였으며, 모든 결과는 수정된 베이스라인을 기준으로 보고됩니다. 거대 영양소 (macro-nutrient) 벤치마크에서 MORL-A2C는 랭킹 품질의 완만한 감소 (Recall@20: 25.64%에서 23.61%, NDCG@20: 23.52%에서 20.64%)를 대가로 건강 정렬 (health alignment)의 상당한 개선 (H-Score@20: 46.05%에서 69.57%)을 달성하였으며, 전체 영양소 (full-nutrient) 벤치마크에서도 일관된 경향을 보였습니다. 이러한 결과는 정책 기반의 순차적 최적화가 다중 목적 식품 추천에서 건강-선호도 트레이드오프를 효과적으로 탐색할 수 있음을 입증합니다.