(23.05.19) SSL (Self-supervised learning) 논문 리뷰 10탄 - contrastive learning (CL)과 maksed image modeling (MIM) 에 대해 비교하는 논문이다. - 논문 제목: What Do self-Supervised Vision Transformers Learn? (ICLR 2023) - https://arxiv.org/pdf/2305.00729.pdf Summary contrastive learning (CL) 과 masked image modeling (MIM) 의 representations, downstream tasks에서의 성능을 비교하는 논문이다. self-supervised ViT가 3가지 특성을 가진다는 것을 보여준다. (..

(23.05.18) SSL(self-supervised learning) 논문 리뷰 9탄 이것도 Kaiming He의 논문이다. 간단하게 정리해보았다. - 논문 제목: Masked Autoencoders Are Scalable Vision Learners (CVPR 2022) - https://arxiv.org/pdf/2111.06377.pdf - https://github.com/facebookresearch/mae Abstract 본 논문은 masked autoencoders 가 computer vision에서 scalable self-supervised learners라는 것을 보여준다. MAE approach는 간단하다. ==> input image의 random patches에 mask를 씌우고..