(23.02.08) SSL(self-supervised learning) 논문 리뷰 6탄 논문이 3페이지여서 굉장히 빨리 읽을 수 있었다 ^ㅡ^ SimCLR + MoCo ..!! 라고 생각하면 될 것 같다..! - 논문 제목: Improved Baselines with Momentum Contrastive Learning (2020) - https://arxiv.org/pdf/2003.04297.pdf Abstract & Introduction Contrastive unsupervised learning -> SimCLR, MoCo 본 논문에서는 SimCLR의 2가지를 MoCo에 적용하여 MoCo v2를 제안한다. MLP projection head + data augmentation (이는 SimCLR..

(23.02.08) SSL(self-supervised learning) 논문 리뷰 5탄 self-supervised learning + semi supervised learning의 내용을 담고 있는 논문이다. SimCLR의 성능을 높여줄 뿐만 아니라 semi-supervised learning에서도 sota를 달성했다. - 논문 제목: Big Self-Supervised Models are Strong Semi-Supervised Learners (NeurIPS 2020) - https://arxiv.org/pdf/2006.10029.pdf Abstract & Introduction 적은 labeled data를 통해 많은 양의 unlabeled data를 잘 사용하기 위한 paradigm은 바로 "..

(23.01.27) Murphy_Machine_Learning 교재 참고 KL divergence 설명 잘해놓은 블로그: https://brunch.co.kr/@chris-song/69#comment Inforamtion theory information theory의 핵심 아이디어: 자주 일어나지 않는 사건이 자주 발생하는 사건보다 정보량이 많다. 여기서 말하는 정보량을 식으로 나타낸 것이 바로 아래의 식이다. 발생활 확률 p(x)이 큰 사건은 정보량 I(x)가 적고, 발생할 확률 p(x)이 작은 사건은 정보량 I(x)가 크다. 위 정보량 식에서 log의 밑이 2일 때, 정보량의 단위는 bit이고, log의 밑이 e일 때, 정보량의 단위는 natural unit (nat)이다. Entropy entro..

(23.01.27) 선형대수 정리하기 3탄 Identity matrix, inverse matrix, diagonal matrix Rank Null space Ax=b 의 해의 수

(23.01.27) 선형대수 정리하기 2탄 굿노트에 정리한 거를 티스토리에 옮기는 느낌이다,,ㅎㅎ Norm 아래는 간단한 예시를 그림으로 표현한 것이다. 행렬의 곱셈, 행렬의 곱셈의 4가지 관점 연립일차방정식을 행렬과 벡터의 곱으로 표현할 수 있는 것 처럼, 두개의 연립일차방정식을 행렬과 행렬의 곱으로 표현할 수 있다. 행렬 곱셈의 4가지 관점은 아래와 같다. Span, Basis (+ linear combination, linear independent) 선형독립 (23.04.01) 선형독립/선형종속 과 singular/non-singular matrix 정리

(23.01.27) 선형대수 정리하기 1탄 행렬의 기본 개념 행(row)는 가로, 열(column)은 세로라고 생각하면 된다. => 가로 2줄, 세로 3줄의 행렬은 2x3 크기를 가진 행렬이다. 행으로만 이루어진 벡터, 즉 가로만 있는 벡터를 row vector (행벡터)라고 부르고, 열로만 이루어진 벡터, 즉 세로만 있는 벡터를 column vector (열벡터)라고 부른다. 어떤 실수 a,b에 대해서 위의 식으로 2차원 좌표평면의 모든 것을 표현할 수 있다. Transpose - 전치 전치는 어렵지 않은 개념인데, 행렬에서 하나의 요소를 a_ij라고 표현했을 때, 전치시키면 같은 자리의 요소가 모두 a_ji가 된다. 즉, 오른쪽 아래 방향의 대각선은 그대로 있게 된다. (i와 j가 같은 숫자니까) 전..

(23.01.25) segmentation 에서 평가지표로 쓰이는 IoU와 dice score에 대하여 정리해보았다. (23.02.17) mIoU 내용 추가 IoU와 Dice score은 ground truth와 predicted area 두 영역이 얼마나 겹쳐있는지를 나타내는 지표이다. IoU (intersection over union) ground truth를 A, predicted area를 B라고 했을 때, IoU는 위와 같다. IoU의 값은 0~1 사이이고, IoU의 값이 클수록, 즉 1에 가까울수록 좋은 성능의 모델이라 판단할 수 있다. MIoU (mean IoU) segmentation에서는 각 class에 대한 IoU를 계산하고, 평균을 취한 MIoU를 사용한다. Dice coeffici..

(23.01.25) medical ai 논문 리뷰 4탄 이번에 정리할 논문은 3D medical image segmentation task에 transformer를 적용한 논문이다. - 논문 제목: UNETR: Transformers for 3D Medical Image Segmentation (2021) - https://arxiv.org/pdf/2103.10504v3.pdf Abstract 저자는 UNEt TRansformers (UNETR)를 제안한다. - sequence representiation을 학습하고, global multi scale information을 포착하기 위해 transformer를 encoder로 사용한다. - encoder와 decoder 아키텍쳐로는 U-shapped n..

(23.01.25) medical ai 논문 리뷰 3탄 이번에 정리할 논문은 UNet과 transformer를 합한 형태를 제안하며, medical image segmentation를 수행한다. UNet과 transformer에 대한 사전 지식을 갖고 읽어야한다. - 논문 제목: Transformers Make Strong Encoders for Medical Image Segmentation (2021) - https://arxiv.org/pdf/2102.04306.pdf Abstract - medical image segmentation 에서는 U-Net이 사실상 표준으로 사용되었는데, U-Net은 long-range dependency 문제가 있다. - transformer는 sequence-to-..

(23.01.25) medical ai 논문 리뷰 2탄 - 논문 제목: Convolutional Networks for Biomedical Image Segmentation (MICAAI 2015) - https://arxiv.org/pdf/1505.04597.pdf (Segmentation) 많은 visual task가 있지만, biomedical image segmentation은 각 pixel 별로 class label을 매겨줘야하는 localization이 필요하다. H x W x RGB_channel -> model -> H x W x class Abstract - data augmentation 중요하다. - 본 논문에서 제안하는 아키텍쳐는 end-to-end train 가능하다. - cont..

(23.01.22) convolution neural network 사용할 때의 hyperparameter 1) convolution - filter 크기 - filter 개수 2) pooling - window 크기 - window stride 3) fully-connected - layer의 개수 - neurons의 개수 neural network 아키텍쳐 종류 - one to one: vanila nerual networks - one to many: image captioning (image -> sequence of words) - many to one: sentiment classification (sequence of words -> sentiment(감정)) - many to many(1)..

(23.01.22) ViT 논문 정리 1탄 computer vision에 transformer 열풍을 불러일으킨 논문이다. transformer관련 지식이 없어서 관련 이전 논문들을 읽고 읽었다. - 논문 제목: An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale (ICLR 2021) - https://arxiv.org/pdf/2010.11929.pdf Abstract - transformer 아키텍쳐는 nlp task에서 기본이 된 반면, computer vision 분야에서는 적용에 한계가 있었다. - 그러나, CNN에 의존할 필요가 없으며, pure transformer를 image patches의 sequence로 ..

(23.01.20) medical ai 논문 리뷰 1탄 처음으로 정리할 medicial 분야의 ai 논문은 MICLe라고 불리는 논문인데, Self-supervised learning을 적용한 논문이다. SimCLR을 알고 읽는다면, 빠르게 읽을 수 있다. - 논문 제목: Big Self-Supervised Models Advance Medical Image Classifications (ICCV 2021) - https://arxiv.org/pdf/2101.05224.pdf Abstracts 이 논문은 2가지의 classification task에 대해 다룬다. 1. Dermatology domain: skin condition classification from digital camer images ..

(23.01.18) SSL(self-supervised learning) 논문 리뷰 4탄 이번에 정리할 논문은 DINO라 불리는 논문이다. - 논문 제목: Emerging Properties in Self-Supervised Vision Transformers (2021) - https://arxiv.org/pdf/2104.14294v2.pdf Abstract self-supervised method를 제안하는데 이것이 바로 self-distillation with no labels (dino)이다. ViT와 DINO를 함께 사용하여 높은 성능을 이끌어냈다. 저자가 관찰한 내용 - self-supervised ViT features가 sementic segmentation에 대해 explicit info..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 3탄 이번에 정리할 논문은 BYOL라 불리는 논문이다. - 논문 제목: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning (NeurIPS 2020) - https://arxiv.org/pdf/2006.07733.pdf Abstract - 저자는 self-supervised image representation learning의 새로운 접근 방식인 BYOL 을 제안한다. - BYOL은 2개의 neural networks로 구성되며 이는 각각 online, target network로 불린다. - augmented view of an image에 대해서..