(23.05.21) SSL(self-supervised learning) 논문 리뷰 11탄 - 논문 제목: SimMIM: a Simple Framework for Masked Image Modeling (CVPR 2022) - https://arxiv.org/pdf/2111.09886v2.pdf - https://github.com/microsoft/SimMIM Abstract 본 논문은 SimMIM (a simple framework for masked image modeling) 을 제안한다. discrete VAE 혹은 clustering을 통한 block-wise masking과 tokenization 없이 간단하게 접근하였다. 저자가 제안하는 framework의 간단한 디자인은 매우 강력한 re..

(23.05.18) SSL(self-supervised learning) 논문 리뷰 9탄 이것도 Kaiming He의 논문이다. 간단하게 정리해보았다. - 논문 제목: Masked Autoencoders Are Scalable Vision Learners (CVPR 2022) - https://arxiv.org/pdf/2111.06377.pdf - https://github.com/facebookresearch/mae Abstract 본 논문은 masked autoencoders 가 computer vision에서 scalable self-supervised learners라는 것을 보여준다. MAE approach는 간단하다. ==> input image의 random patches에 mask를 씌우고..

(23.05.04) SSL(self-supervised learning) 논문 리뷰 8탄 Kaiming He 의 논문이다 - 논문 제목: Exploring Simple Siamese Representation Learning (CVPR 2021) - https://arxiv.org/pdf/2011.10566.pdf Abstract Siamese networks는 unsupervised visual representation learning의 최신 모델에서 널리 쓰이고 있다. 하나의 image에 대한 두가지 augmentations 사이의 similarity를 최대화한다. 본 논문에서는 세가지 요소를 없앤 simple Siamese networks를 제안한다. 그 세가지 요소는 아래와 같다. 1. nega..

(23.02.08) SSL(self-supervised learning) 논문 리뷰 7탄 self supervised learning에 ViT backbone을 사용한 논문이다..! 기존 MoCo의 일부분이 변경되었다. - 논문 제목: An Empirical Study of Training Self-Supervised Vision Transformers (ICCV 2021) - https://arxiv.org/pdf/2104.02057.pdf Abstract & Introduction 본 논문에서 다루고자하는 것은 self-supervised learning for Vision Tranformers (ViT) 이다. 더보기 NLP와 vision 의 차이점은 2가지이다. - NLP는 maksed auto-..

(23.02.08) SSL(self-supervised learning) 논문 리뷰 6탄 논문이 3페이지여서 굉장히 빨리 읽을 수 있었다 ^ㅡ^ SimCLR + MoCo ..!! 라고 생각하면 될 것 같다..! - 논문 제목: Improved Baselines with Momentum Contrastive Learning (2020) - https://arxiv.org/pdf/2003.04297.pdf Abstract & Introduction Contrastive unsupervised learning -> SimCLR, MoCo 본 논문에서는 SimCLR의 2가지를 MoCo에 적용하여 MoCo v2를 제안한다. MLP projection head + data augmentation (이는 SimCLR..

(23.02.08) SSL(self-supervised learning) 논문 리뷰 5탄 self-supervised learning + semi supervised learning의 내용을 담고 있는 논문이다. SimCLR의 성능을 높여줄 뿐만 아니라 semi-supervised learning에서도 sota를 달성했다. - 논문 제목: Big Self-Supervised Models are Strong Semi-Supervised Learners (NeurIPS 2020) - https://arxiv.org/pdf/2006.10029.pdf Abstract & Introduction 적은 labeled data를 통해 많은 양의 unlabeled data를 잘 사용하기 위한 paradigm은 바로 "..

(23.01.18) SSL(self-supervised learning) 논문 리뷰 4탄 이번에 정리할 논문은 DINO라 불리는 논문이다. - 논문 제목: Emerging Properties in Self-Supervised Vision Transformers (2021) - https://arxiv.org/pdf/2104.14294v2.pdf Abstract self-supervised method를 제안하는데 이것이 바로 self-distillation with no labels (dino)이다. ViT와 DINO를 함께 사용하여 높은 성능을 이끌어냈다. 저자가 관찰한 내용 - self-supervised ViT features가 sementic segmentation에 대해 explicit info..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 3탄 이번에 정리할 논문은 BYOL라 불리는 논문이다. - 논문 제목: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning (NeurIPS 2020) - https://arxiv.org/pdf/2006.07733.pdf Abstract - 저자는 self-supervised image representation learning의 새로운 접근 방식인 BYOL 을 제안한다. - BYOL은 2개의 neural networks로 구성되며 이는 각각 online, target network로 불린다. - augmented view of an image에 대해서..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 2탄 이번에 정리할 논문은 MoCo라 불리는 논문이다. - 논문 제목: Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020) - https://arxiv.org/pdf/1911.05722.pdf Abstract 저자는 Momentum Contrast for unsupervised visual representation learning, 즉 MoCo 를 제안한다. contrastive learning의 관점에서 dynamic dictionary를 queue로 구현하고, moving-average encoder를 사용한다. Method 간단..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 1탄 Self-supervised learing 에 대해 처음으로 리뷰할 논문은 SimCLR이라고 불리는 논문이다. - 논문 제목: A Single Framework for Contrastive Learning of Visual Representations (ICML 2020) - https://arxiv.org/pdf/1911.05722.pdf Abstract 저자는 3가지를 보여주는데, 아래와 같다. 1. self-supervised learning에서 data augmentations의 구성이 매우 중요한 역할을 한다. 2. representation과 contrastive loss 간의 learnable nonli..