(23.01.22) convolution neural network 사용할 때의 hyperparameter 1) convolution - filter 크기 - filter 개수 2) pooling - window 크기 - window stride 3) fully-connected - layer의 개수 - neurons의 개수 neural network 아키텍쳐 종류 - one to one: vanila nerual networks - one to many: image captioning (image -> sequence of words) - many to one: sentiment classification (sequence of words -> sentiment(감정)) - many to many(1)..

(23.01.22) ViT 논문 정리 1탄 computer vision에 transformer 열풍을 불러일으킨 논문이다. transformer관련 지식이 없어서 관련 이전 논문들을 읽고 읽었다. - 논문 제목: An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale (ICLR 2021) - https://arxiv.org/pdf/2010.11929.pdf Abstract - transformer 아키텍쳐는 nlp task에서 기본이 된 반면, computer vision 분야에서는 적용에 한계가 있었다. - 그러나, CNN에 의존할 필요가 없으며, pure transformer를 image patches의 sequence로 ..

(23.01.20) medical ai 논문 리뷰 1탄 처음으로 정리할 medicial 분야의 ai 논문은 MICLe라고 불리는 논문인데, Self-supervised learning을 적용한 논문이다. SimCLR을 알고 읽는다면, 빠르게 읽을 수 있다. - 논문 제목: Big Self-Supervised Models Advance Medical Image Classifications (ICCV 2021) - https://arxiv.org/pdf/2101.05224.pdf Abstracts 이 논문은 2가지의 classification task에 대해 다룬다. 1. Dermatology domain: skin condition classification from digital camer images ..

해결 방법 1. pytorch 제거 pip3 uninstall pytorch 2. pytorch 재설치 https://pytorch.org/get-started/locally/ 위 링크에서 본인의 환경에 맞는 명령어 입력

git remote add -f origin git_url git config core.sparseCheckout true echo "원하는 디렉토리 경로" >> .git/info/sparse-checkout git pull origin main # main 은 브랜치 이름이라 각 레포에서 확인해봐야함 # origin 역시 본인이 원하는대로 바꿔쓸 수 있음 참고자료 https://askubuntu.com/questions/460885/how-to-clone-only-some-directories-from-a-git-repository

왠지 모르겠지만 내 도커에 torch가 설치되어있지 않았다. 분명 예전에 설치 했었는데.. 왜지? 나중에 또 필요할지 모르니 정리했다 1. conda 설치 2. conda 가상환경 생성 및 활성화 conda create -n 가상환경이름 python=파이썬버전 activate conda 가상환경이름 그런데 여기서 오류 발생,, IMPORTANT: You may need to close and restart your shell after running 'conda init' 아무리 conda init 명령어를 써줘도 같은 오류가 났는데 이게 conda대신 source를 써줘야한다고 한다 (왤까) 어쨋든 아래 방법으로 해결했다 3. pytorch install https://pytorch.org/get-st..

(23.01.19) 내가 자주쓰는 명령어 위주 tmux로 돌려놓은 코드는 linux 원격 연결이 끊겨도 서버가 꺼지지 않으면 계속 돌아간다 # 세션 생성 tmux new -s 세션이름 # 세션 종료 (세션에 들어갔을 때) exit # 세션 종료 (세션에 들어가지 않고) tmux kill-session -t 세션이름 # 세션 다시 시작 (기존에 있던 세션) tmux attach -t 세션이름 # 세션 목록 tmux ls # tmux 에서 나가기 (세션 중단) (ctrl + b) d

(23.01.18) SSL(self-supervised learning) 논문 리뷰 4탄 이번에 정리할 논문은 DINO라 불리는 논문이다. - 논문 제목: Emerging Properties in Self-Supervised Vision Transformers (2021) - https://arxiv.org/pdf/2104.14294v2.pdf Abstract self-supervised method를 제안하는데 이것이 바로 self-distillation with no labels (dino)이다. ViT와 DINO를 함께 사용하여 높은 성능을 이끌어냈다. 저자가 관찰한 내용 - self-supervised ViT features가 sementic segmentation에 대해 explicit info..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 3탄 이번에 정리할 논문은 BYOL라 불리는 논문이다. - 논문 제목: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning (NeurIPS 2020) - https://arxiv.org/pdf/2006.07733.pdf Abstract - 저자는 self-supervised image representation learning의 새로운 접근 방식인 BYOL 을 제안한다. - BYOL은 2개의 neural networks로 구성되며 이는 각각 online, target network로 불린다. - augmented view of an image에 대해서..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 2탄 이번에 정리할 논문은 MoCo라 불리는 논문이다. - 논문 제목: Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020) - https://arxiv.org/pdf/1911.05722.pdf Abstract 저자는 Momentum Contrast for unsupervised visual representation learning, 즉 MoCo 를 제안한다. contrastive learning의 관점에서 dynamic dictionary를 queue로 구현하고, moving-average encoder를 사용한다. Method 간단..

(23.01.17) SSL(self-supervised learning) 논문 리뷰 1탄 Self-supervised learing 에 대해 처음으로 리뷰할 논문은 SimCLR이라고 불리는 논문이다. - 논문 제목: A Single Framework for Contrastive Learning of Visual Representations (ICML 2020) - https://arxiv.org/pdf/1911.05722.pdf Abstract 저자는 3가지를 보여주는데, 아래와 같다. 1. self-supervised learning에서 data augmentations의 구성이 매우 중요한 역할을 한다. 2. representation과 contrastive loss 간의 learnable nonli..

(23.01.12) 간단한 개발 환경 세팅 기록 남기기!! 서버에서 실행하는 jupyter notebook를 내 로컬 브라우저에서 실행하고자한다. - jupyter 설치 (서버의 터미널에서) pip3 install -upgrade pip pip3 install jupyter - 내 로컬에서 서버를 portforwarding 해준다 (8888 포트번호는 다르게 해도 상관없지만, localhost 앞뒤로 동일하게 설정해주어야함) ssh -L 8888:localhost:8888 username@server_ad -p port_num - 서버 터미널에서 tmux 열고, jupyter notebook 실행 tmux new-session -s jupyter cd 원하는 폴더 jupyter notebook --por..

vs code에서 ssh 접속할 때 아래와 같이 연결 오류 발생하였다. (아래 참고링크에서 자세한 오류 확인 가능) 해결방법 view > command palette > Remote-SSH: Kill VS Code Server on Host... 생각보다 간단하게 해결할 수 있다 참고 링크 https://stackoverflow.com/questions/63691107/ive-already-setup-the-ssh-key-but-vscode-keeps-asking-for-password https://github.com/microsoft/vscode-remote-release/issues/2805

내가 정리한 노션 링크 공유 1. 회복과 병행제어 - 트랜잭션, 병행제어에 관한 내용 https://mirror-dragonfly-2a2.notion.site/08_-5c4adcba41cd4be59a3187aacfdf9f04 08_회복과 병행제어 정규화는 함수 종속성을 기반으로 했다면, mirror-dragonfly-2a2.notion.site 2. 보안과 권한 관리 - 권한 부여, 역할에 관한 내용, SQL 문법도 있음 https://mirror-dragonfly-2a2.notion.site/09_-0c883294121549f4b925eb248b96315a 09_보안과 권한관리 데이터베이스 보안의 목표 mirror-dragonfly-2a2.notion.site 3. 데이터베이스 응용기술 - 객체 지향 ..

내가 정리한 노션 링크 공유 https://mirror-dragonfly-2a2.notion.site/07_-38890067949d4af0b5906ac28e46c8c8 07_정규화 이상 현상 (anomaly) mirror-dragonfly-2a2.notion.site