(23.05.01)
Depth Estimation 논문 정리하기 1탄
- 논문 제목: Depth Map Prediction from a Single Image using a Multi-Scale Deep Network (NeurIPS 2014)
- https://arxiv.org/pdf/1406.2283v1.pdf
(https://arxiv.org/pdf/2003.06620.pdf survey에서 설명하는 내용)
supervised methods의 supervisory signal은 depth maps의 ground truth에 기반한다.
Monocular depth estimation은 regressive problem으로 여겨질 수 있다.
deep neural network는 single images로부터 depth maps를 예측하도록 디자인된다.
predicted depth maps와 real depth maps의 차이는 L2 loss 로 정의한다.
이는 CNNs로 monocular depth estimation 을 해결한 첫번째 논문이다.
Summary
[문제점]
single image로부터 depth estimation 하는 것은 challenging task이다.
[해결책]
2 deep neural network를 사용하는데, 하나로는 global depth structure를 예측하고 하나로는 이를 finer resolution에 locally하게 refine한다.
Abstract
depth에 대해 예측하는 것은 scene의 3D geometry를 이해하는 것의 필수적인 요소이다.
single image로부터 depth relations를 찾는 것은 less straightforward 하다. (다양한 단서로부터 global & local information을 통합할 필요가 있다.
본 논문에서 제안하는 것!
1. 전체 이미지를 기반으로 coarse global prediction을 만든다.
2. 이 prediction을 locally하게 정제한다.
NYU depth & KITTI 데이터셋에 대해서 sota 달성
superpixelation 없이 자세한 depth boundaries를 매치하였다.
Model Architecture
본 논문에서 제안하는 model network는 2개로 이루어져있다.
1. coarse-scale network : global lebel에서 scene의 depth를 예측한다.
2. fine-scale network: local regions 내에서 refine한다.
coarse-scale network에서는 scene의 global view를 사용하여 전체 depth map structure를 예측한다. 이 네트워크는 depth를 예측하기 위해 전체 scene의 global understanding을 통합할 수 있다!
fine-scale network에서는 local refinements를 만들 수 있다. coarse-scale network에서 전체 scene을 봤다면, fine-scale network의 output unit은 input의 45x45 pixels이다.
Scale-Invariant mean squared error
Training loss
Data augmentation
Experiments
