[WSSS] Weakly-supervised semantic segmentation

(23.02.14)

 

논문 읽으면서 weakly-supervised semantic segmentation에 대해 정리해보았다.

적어나갈 부분이 생기면 앞으로 계속해서 업데이트 할 예정이다!!

---

 

Weakly-supervised semantic segmentation

weakly supervision 을 가지고, fully supervised approaches와 같은 퍼포먼스를 내고자 하는 task이다. 

여기서 weakly supervision이라고 하면, image-level classfication labels, scribbles, bounding boxes 등을 말한다. 

 

 

대부분의 WSSS methods들은 CAM을 기반으로 하고 있다. 

왜냐면 CAM이 image classification labels를 가지고 객체를 localize할 수 있는 효과적인 방법이기 때문이다.

CAM은 classification network로부터 segmentation mask를 (대충) 추정하고자 생성하는 것이다.

 

그런데, CAM은 under-activation하고 over-activation하다는 문제가 있다.

물체의 가장 discriminative한 부분만 잡아내거나, background인데도 물체라고 잡아내는 경우가 있다는 의미이다. 

그리고, CAM은 affine transformations로 augment된 image에 대해 일관적이지 않다. 

-> 이는 fully supervision과 weakly supervison의 gap때문에 발생하는 현상인 듯 하다. 

출처: SEAM 논문