(23.02.12)
WSL(weakly supervised learning) 논문 리뷰 2탄
사전지식이 별로 없는 상태에서 읽어서 이해하는데 조금 시간이 걸렸다. 논문 읽는 것에서 끝나지 않고, 코드를 봐야한다는 생각이 강력하게 드는 논문이다.
- 논문 제목: Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing (CVPR 2018)
Weakly-supervised semantic segmentation
해당 논문에서 다루는 weakly-supervised semantic segmenatation의 경우,
image의 class label만 있고, image의 object의 location을 모르는 상태에서 semantic segmentation을 수행하는 것이다.
즉 object의 pixel-label locations를 추측하는 것이다.
Problem & Solution
problem
image-level supervision만으로 semantic segmentation network를 학습시킬 수는 없을까? high-quality seeds와 discriminative object region을 제공하지만 full object extents를 추측하는 것은 어려운 문제다..
solution
DSRG 제안!! -> seed cue가 supervision이 되고, segmentation map과 비교하여 seed 를 확장한 후 다시 이를 supervision으로 활용하는 방식
Method
deep neural network(classification)으로부터 seed cues를 생성한다. 이 seed cues는 segmenatation의 supervision으로 쓰인다. seed cue가 small & sparse(부족, 드문드문)하다는 문제를 해결하고자 DSRG training을 제안한다.
seed generation (그림의 S)
- classification network는 vgg16에 GAP layer를 추가하여 사용되었다. foreground classes에 대한 CAM 추출. hard threshold 설정하여 foreground class로 seed cue 설정.
- saliency map을 통해 background에 seed cue 설정. low saliency value를 background로 seed cue 설정.
weakly-supervised segmentation network (그림의 H)
seed cue를 supervision으로 하여,
image를 segmentation network에 넣어 segmentation map을 뽑아낸다.
seeding loss & bounding loss를 loss function으로 사용하여 학습한다.
boundary를 깔끔하게 만들어주도록 하는 fully conditional random field (CRF)도 있다.
논문에서는 segmentation network로 DeepLab-ASPP를 사용하였다.
DSRG (deep seeded region growing)
seed cue를 확장시키기 위한 방법이다.
S에서 unlabeled pixel인 부분이, H에서 특정 class일 확률이 threshold를 넘으면 해당 class로 정해주는 방식으로 seed cue를 확장한다. 확장하여 나온 결과가 그림의 G이다. 만들어진 G는 다시 segmentation nework의 supervision으로 사용되고 이 과정이 반복된다.
Experiment
참고 블로그
https://withseohyeong.home.blog/2019/06/22/a-brief-guide-of-weakly-supervised-semantic-segmentation/
