[Depth Estimation] Depth Estimation 개론

(23.04.30)

Monocular Depth Estimation Based On Deep Learning: An Overview

https://arxiv.org/pdf/2003.06620.pdf

Depth Estimation 흐름을 볼 수 있는 survey다. 

 

---

 

Depth Estimation

 

Traditional depth estimation methods 은 multiple viewpoints의 feature correspondences 기반이다. 이를 stereo depth estimation 이라고 한다.

Monocular depth estimation은 single image를 가지고 depth maps를 추론하는 방식이다. 그러나 이는 ill-posed problem이다.

(ill-posed provblem: 1개의 유일한 정답이 아닌 여러개가 존재하는 문제)

이를 deep neural network기반의 depth estimation이 해결하고 있다.

 

 

 

image로부터 추론하는 depth information은 computer vision에서는 매우 기본적이며 중요한 task이다.

(활용되는 곳)

1) SLAM(simultaneous localization and mapping)

2) navigation

3)object detection

4) semantic segmentation

 

 

 

depth estimation을 3가지 방식으로 나누어 정리해볼 수 있다.

 

1. Geometry-based methods

- geometric constraints 기반으로 2개의 이미지로 부터 3D structures를 찾아내는 것은 가장 유명한 방식이다. (근 40년간)

- SfM (Structure from motion) : 2D image sequences로부터 3D structures 추론하는 representatiove method이다. 3D recontruction과 SLAM 성공적으로 적용했다. 그러나 SfM은 정확한 feature matching과 high-quality image sequences에 강하게 의존했고, monocular scale ambiguity에 약했다.

- Stereo vision matching: 2개의 view points로부터 3D structures를 추론하는 방법인데, human eyes에서 착안하여 2개의 카메라를 이용하여 images의 disparity maps를 계산하였다. SfM이 monocular sequences에 기반한 것과는 다르게 이 방식은 steoro vision matching 과정에서 scale information이 포함된다.

- 위 두가지의 geometry-based methods는 spars points의 depth values를 효과적으로 계산한다. 그러나, single image로 부터의 dense depth map를 얻는 것은 여전히 중요한 과제로 남았다.

 

 

2. Sensor-based methods

- corresponding image의 depth information을 직접적으로 얻을 수 있는 방법들이다.

- RGB-D cameras: RGB image의 pixel 단위의 dense depthmap을 직접적으로 얻을 수 있다. 그러나, 제한적인 특정 범위와 실외의 햇빛 민감도에 약하다.

- LIDAR: depth 측정에 대한 driving 산업에서 많이 쓰이는데, 이는 sparse 3D map을 생성할 수 있다.

- 크기가 크고, power consumption도 커서 작은 robotics에 적용하는것에 영향을 준다는 문제가 있다. 

 

 

3. Deep learning-based methods

- monocular depth estimation에도 다양한 neural networks가 다뤄진다. (CNNs, RNNs, VAEs, GANs)

- deep neural networks in an end-to-end manner

- depth estimation의 정확도 향상을 위해 다양한 nerwork frameworks, loss functions, training strategies 가 제안된다.

 

 

 

---

다음 포스팅에서 계속...