불완전 관측 환경에서의 화학요법 제어에 대한 반복적 심층 강화학습

요약

본 논문은 화학요법 용량 최적화와 같이 불확실성이 높은 동적 치료 체제에서 강화학습을 적용하는 방법을 제시합니다. 기존의 접근 방식들이 완전 관측 환경을 가정하는 한계를 극복하기 위해, 연구진은 기억 증강 정책(memory-augmented policy) 기반의 반복적 TD3 아키텍처를 개발했습니다. 이 방법은 불완전한 환자 상태 관측 및 노이즈가 존재하는 임상 환경에서도 안정적이고 강력한 성능을 보여주었으며, 이는 임상적으로 중요한 상태 정보가 불확실할 때 기억 기반 정책의 유용성을 입증합니다.

핵심 포인트

• 화학요법 용량 최적화는 독성과 종양 억제 간 균형이 필요한 동적 제어 문제로 모델링된다.
• 기존 강화학습 방법론들이 가정하는 '완전 관측' 환경의 한계를 극복하기 위해 연구가 진행되었다.
• LSTM 기반의 기억 증강 정책을 사용한 반복적 TD3 접근법을 개발하여 불완전 관측(Partially Observable) 환경에 적용했다.
• 실험 결과, 이 방법은 완전 관측 환경에서는 성능이 떨어지지만, 불확실성이 높은 불완전 관측 환경에서 기존 방식 대비 월등히 강력하고 안정적인 성능을 보였다.