(23.04.24) 선형대수 정리하기 8탄 SVD (singular value decomposition) 자세히 읽고싶다면: https://darkpgmr.tistory.com/106 참고: https://www.youtube.com/watch?v=TxB96QVlgXk&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=31

(23.04.03) Vision Language Model 논문 리뷰 1탄 논문 제목: Learning Transferable Visual Models From Natural Language Supervision (2021) - https://arxiv.org/pdf/2103.00020.pdf 기존 state-of-art computer vision systems - 고정되어있는 object 카테고리에서 예측하고 학습. -> 제한되어있는 supervision 형태로 인해 제한되는 부분들 발생. -> 자연어를 사용하여 image representation learning하는 것은 어떨까? ====> natural language supervision CLIP 1) contrastive pre-trainin..

(23.03.14) weakly + semi 합해서 segmentation 하는 방법론 떠오르는게 있어서 정리해두고, 비슷한 논문이 있는지 찾아봤는데 역시나 이미 논문이 있다.. semi, weakly 선행 연구에 대해서 논문에 잘 설명되어있어서 내용 정리하는 느낌으로 적어보았다. 논문에서 제안하는 방법론의 그림과 글의 내용이 뭔가 맞지 않아서 이해한게 맞는지 모르겠다.. 논문 제목: Learning pseudo labels for semi-and-weakly supervised semantic segmentation - https://www.sciencedirect.com/science/article/pii/S003132032200406X 우선, segmentation에서 사용되는 semi-superv..

(2023.03.04) semantic segmentation 논문 리뷰 2탄 - 논문 제목: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation (2015) - https://arxiv.org/pdf/1511.00561v3.pdf Model Architecture SegNet은 encoder-decoder 구조이다. - encoder는 vgg16의 13 conv layer를 가져왔다. (fully connected layer는 resolution을 낮추고 parameter가 늘어나기 때문에 없앴다.) - 이와 대응하는 decoder도 13 layer로 구성되어있다. - 마지막 decoder의 output은 multi-clas..

(23.03.02) Semantic segmentation 논문 리뷰 1탄 - 논문 제목: Fully Convolutional Networks for Semantic Segmentation (CVPR 2015) - https://arxiv.org/pdf/1411.4038.pdf Summary FCN은 convolutional network 구조로 end-to-end 학습이 가능하며, pixel 단위로 class를 예측하는 semantic segmentation 분야에서 이 당시 SOTA를 달성했다. Keyword - end-to-end convolutional network for semantic segmentation (최초?) - 기존 pre-training model (AlexNet, VGG 등)을..

(23.03.01) 선형대수 정리하기 7탄 eigen decomposition (고윳값 분해) 고윳값 분해하는 과정은 아래와 같다. 행렬 A가 square matrix이고, symmetric matrix일 때 Ax를 위의 빨간색 식으로 표현할 수 있다. 참고 자료: https://www.youtube.com/watch?v=PP9VQXKvSCY&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=21

(23.03.01) 선형대수 정리하기 6탄 eigenvalue와 eigenvector의 정의 여기서 A라는 것은 선형변환이라고 생각하면된다. 회색 벡터를 A에 통과시키면 노란색 벡터가 나온다. 아래 그림을 보면 노란색 벡터가 파란색 좌표들에 그려진 것을 볼 수 있다. 아래 그림의 회색선이 기존의 좌표선들이고, 파란색선이 새로운 좌표선들이다. 아래 두그림을 비교해봤을 때, 방향이 바뀌지 않은 노란색 벡터 두개를 확인할 수 있다. 방향이 바뀌지 않은 노란색 벡터 두개가 바로 eigenvector이다. eigenvalue와 eigenvector 구하기 eigenvalue, eigenvector 구하기 예제 위의 그림의 출처는 이 유튜브 강의임!! https://www.youtube.com/watch?v=xDA..

(23.02.28) 선형대수 정리하기 5탄 Trace least squares & projection matrix (최소자승법 & 정사영 행렬) 참고영상: https://www.youtube.com/watch?v=B_WZdmCGqBc&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=19

(23.02.28) 선형대수 정리하기 4탄 Gauss-Jordan Elimination (가우스-조던 소거법) 역행렬 Determinant (23.04.01) determinant 쉽게 구하기 determinant 정의

(23.02.14) 논문 읽으면서 weakly-supervised semantic segmentation에 대해 정리해보았다. 적어나갈 부분이 생기면 앞으로 계속해서 업데이트 할 예정이다!! Weakly-supervised semantic segmentation weakly supervision 을 가지고, fully supervised approaches와 같은 퍼포먼스를 내고자 하는 task이다. 여기서 weakly supervision이라고 하면, image-level classfication labels, scribbles, bounding boxes 등을 말한다. 대부분의 WSSS methods들은 CAM을 기반으로 하고 있다. 왜냐면 CAM이 image classification labels를..

(23.02.14) WSL(weakly supervised learning) 논문 리뷰 3탄 본 논문에서 제안하는 method가 연관 개념들이 굉장히 많이 들어간다. 성능개선이 있었지만, 간단한 mechanism은 아닌듯하다...! - 논문 제목: Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (CVPR 2020) - https://arxiv.org/pdf/2004.04581v1.pdf 핵심 정리 - SEAM, PCM 제안. fully and weakly supervision의 gap을 줄이고자. - siamese network 구조로 구현, ECR(equivariant cross reg..

(23.02.12) WSL(weakly supervised learning) 논문 리뷰 2탄 사전지식이 별로 없는 상태에서 읽어서 이해하는데 조금 시간이 걸렸다. 논문 읽는 것에서 끝나지 않고, 코드를 봐야한다는 생각이 강력하게 드는 논문이다. - 논문 제목: Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing (CVPR 2018) -https://openaccess.thecvf.com/content_cvpr_2018/papers/Huang_Weakly-Supervised_Semantic_Segmentation_CVPR_2018_paper.pdf Weakly-supervised semantic segmentatio..

(23.02.12) DSRG 논문을 읽던 중, 처음보는 개념들이 나와서 찾아보았다...! seed region growing 방식을 개선하였다고 하는데, seed region growing 이란 무엇인가?? 참고 블로그 - https://blog.naver.com/laonple/220890216653 Region 기반 segmentation segmentation은 2가지 방식이 있다. 1. edge 기반 2. region 기반 edge 기반의 segementation은 image에서 차이가 있는 부분을 집중적으로 봤다면, region 기반의 segmentation은 image에서 비슷한 속성을 집중적으로 보는 방식이다. -> similarity region 기반에서 말하는 비슷한 속성은 밝기, 색상, ..

(23.02.09) WSL(weakly supervised learning) 논문 리뷰 1탄 CAM을 읽어보았다...! 꽤나 오래된 논문이지만, 아직도 꾸준히 인용되고 있다. - 논문 제목: Learning Deep Features for Discriminative Localization (CVPR 2016) - https://arxiv.org/pdf/1512.04150v1.pdf Problem & Solution Problem - CNN이 좋은 성능을 내는데, 이것이 왜 좋은 성능을 내는지 쉽게 설명할 수 없다는 black-box 문제가 있다. Solution - CAM을 제안하여 CNN이 어떻게 task를 수행하는지 설명할 수 있게 된다. -> 즉, CNN이 어떤 부분을 보고 예측했는지를 알려주는 역..

(23.02.08) SSL(self-supervised learning) 논문 리뷰 7탄 self supervised learning에 ViT backbone을 사용한 논문이다..! 기존 MoCo의 일부분이 변경되었다. - 논문 제목: An Empirical Study of Training Self-Supervised Vision Transformers (ICCV 2021) - https://arxiv.org/pdf/2104.02057.pdf Abstract & Introduction 본 논문에서 다루고자하는 것은 self-supervised learning for Vision Tranformers (ViT) 이다. 더보기 NLP와 vision 의 차이점은 2가지이다. - NLP는 maksed auto-..