깊이 모호성 모델링: Flying-Point-Free 깊이 추정을 위한 혼합 밀도 표현 (Mixture-Density

깊이 추정 (Depth Estimation) 기술의 발전에도 불구하고, 플라잉 포인트 (flying points)는 지속적인 실패 모드로 남아 있습니다. 즉, 객체의 경계 근처에서 깊이 추정기들은 전경 (foreground)과 배경 (background) 표면 사이의 빈 공간에 가짜 3D 포인트를 예측하는 경우가 빈번합니다. 우리는 이러한 아티팩트 (artifact)의 원인을 표준적인 모델링 방식, 즉 각 픽셀에 단일 깊이 가설 (single depth hypothesis)을 할당하는 선택에서 찾았습니다. 경계 지역에서 하나의 픽셀은 전경과 배경 표면에 걸쳐 있을 수 있으므로, 해당 픽셀의 실제 깊이는 두 표면 사이에서 모호해집니다. 단일 깊이를 예측하는 모델은 두 가지 가능성을 모두 유지할 수 없으며, 이로 인해 학습 과정에서 예측값이 어느 표면에도 속하지 않는 중간 깊이 쪽으로 끌려가게 됩니다.

우리는 MDA를 통해 이 문제를 해결합니다. MDA는 혼합 밀도 표현 (mixture-density representation)으로, 모델이 각 픽셀에 대해 여러 개의 깊이 가설과 그에 따른 확률을 예측할 수 있게 합니다. 경계 근처에서 서로 다른 가설들은 각각 다른 표면과 일치할 수 있으며, 디코딩된 깊이는 두 표면 사이의 빈 공간에 배치되는 대신 이러한 가설 중 하나로부터 선택됩니다. 다양한 백본 (backbones)에 걸쳐 MDA는 경계 재구성 (boundary reconstruction) 성능을 실질적으로 향상시키며, 심각한 입력 블러 (input blur) 상황에서도 실행 시간 오버헤드(runtime overhead)를 거의 추가하지 않으면서 플라잉 포인트 아티팩트를 대부분 제거합니다. 동일한 혼합 밀도 프레임워크는 투명한 객체 (transparent objects)로 자연스럽게 확장되어, 투명한 픽셀에서 여러 개의 깊이 레이어를 예측할 수 있게 합니다. 또한 하늘 영역 (sky regions)에서도 전용 컴포넌트가 무한한 하늘을 유한한 깊이 영역과 분리하여, 플라잉 포인트가 없는 스카이라인 (skylines)을 생성합니다. 프로젝트 페이지: https://biansy000.github.io/mda-site/.