GTX 1650에서 구동하는 마인크래프트 실시간 신경 날씨 리스타일링 구현기 (1.4M-param U-Net, FLUX.2 klein 기반)
요약
GTX 1650 환경에서 마인크래프트의 실시간 신경 날씨 리스타일링을 구현한 사례입니다. FLUX.2 klein 기반의 1.4M-param U-Net 모델을 사용하여, ONNX Runtime과 Fabric 모드 내에서 프레임당 약 26ms로 작동합니다. PatchGAN 미세 조정을 통해 현실적인 반사광 및 눈 표현이 가능해졌습니다.
핵심 포인트
- FLUX.2 klein 기반의 U-Net 구조를 활용하여 날씨 리스타일링 구현
- ONNX Runtime과 Fabric 모드에서 실시간 구동(약 26ms/프레임) 성공
- PatchGAN 미세 조정을 통해 현실적인 반사광 및 디테일 개선
Teacher: FLUX.2 klein 4B는 약 3천 장의 프레임(눈 / 습한 환경 / 밤 시간대, 강도 3가지)을 그립니다. Student: FiLM 슬라이더가 적용된 1.4M-param U-Net으로, ONNX Runtime을 통해 Fabric 모드 내부에서 512×288 해상도로 프레임당 약 26ms의 속도를 보여주며; HUD는 그대로 유지됩니다. Pixel loss (L1+MSE)를 사용했을 때는 교사(Teacher)가 프레임마다 눈이나 물웅덩이를 다르게 배치하기 때문에, 색이 바랜 듯한 '평균' 결과물이 나왔습니다. 동일 쌍에 대한 PatchGAN 미세 조정(fine-tune)을 적용하자 이를 해결할 수 있었습니다: 두꺼운 눈과 실제 같은 반사광입니다. 실패 사례로는 밤 시간대(교사가 일몰을 그린 경우), 이미 눈이 쌓인 생물 군계(학습 데이터에 존재하지 않음)가 있습니다. 자세한 내용은 공유하게 되어 기쁩니다. submitted by /u/BlueCeAnd [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/MachineLearning (hot)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기