(23.04.24) 선형대수 정리하기 9탄 우선, Upper triangular와 Lower triangular란 아래와 같은 꼴의 행렬을 말한다. LU 분해 : 행렬 A에 대해서 Lower triangular와 Upper triangular로 분해해주는 과정을 말한다. PLU 분해 : 행렬 A가 행연산3 으로만 사다리꼴 행 형태로 바꿀 수 없다면, 행연산1 을 통해 바꿔주는 과정을 거쳐야하는데, 이 과정이 포함된 분해를 PLU 분해라고 한다. LDU 분해 : 행렬 A에 대해서 LU 분해를 진행하였는데, diagonal 원소를 1로 만들어 깔끔한 모양의 결과를 만들어내는 분해과정이다. 참고: https://www.youtube.com/watch?v=z66pF_yiGVQ&list=PL_iJu012NOxdZ..

(23.04.24) 선형대수 정리하기 8탄 SVD (singular value decomposition) 자세히 읽고싶다면: https://darkpgmr.tistory.com/106 참고: https://www.youtube.com/watch?v=TxB96QVlgXk&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=31

(23.03.01) 선형대수 정리하기 7탄 eigen decomposition (고윳값 분해) 고윳값 분해하는 과정은 아래와 같다. 행렬 A가 square matrix이고, symmetric matrix일 때 Ax를 위의 빨간색 식으로 표현할 수 있다. 참고 자료: https://www.youtube.com/watch?v=PP9VQXKvSCY&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=21

(23.03.01) 선형대수 정리하기 6탄 eigenvalue와 eigenvector의 정의 여기서 A라는 것은 선형변환이라고 생각하면된다. 회색 벡터를 A에 통과시키면 노란색 벡터가 나온다. 아래 그림을 보면 노란색 벡터가 파란색 좌표들에 그려진 것을 볼 수 있다. 아래 그림의 회색선이 기존의 좌표선들이고, 파란색선이 새로운 좌표선들이다. 아래 두그림을 비교해봤을 때, 방향이 바뀌지 않은 노란색 벡터 두개를 확인할 수 있다. 방향이 바뀌지 않은 노란색 벡터 두개가 바로 eigenvector이다. eigenvalue와 eigenvector 구하기 eigenvalue, eigenvector 구하기 예제 위의 그림의 출처는 이 유튜브 강의임!! https://www.youtube.com/watch?v=xDA..

(23.02.28) 선형대수 정리하기 5탄 Trace least squares & projection matrix (최소자승법 & 정사영 행렬) 참고영상: https://www.youtube.com/watch?v=B_WZdmCGqBc&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=19

(23.02.28) 선형대수 정리하기 4탄 Gauss-Jordan Elimination (가우스-조던 소거법) 역행렬 Determinant (23.04.01) determinant 쉽게 구하기 determinant 정의

(23.01.27) Murphy_Machine_Learning 교재 참고 KL divergence 설명 잘해놓은 블로그: https://brunch.co.kr/@chris-song/69#comment Inforamtion theory information theory의 핵심 아이디어: 자주 일어나지 않는 사건이 자주 발생하는 사건보다 정보량이 많다. 여기서 말하는 정보량을 식으로 나타낸 것이 바로 아래의 식이다. 발생활 확률 p(x)이 큰 사건은 정보량 I(x)가 적고, 발생할 확률 p(x)이 작은 사건은 정보량 I(x)가 크다. 위 정보량 식에서 log의 밑이 2일 때, 정보량의 단위는 bit이고, log의 밑이 e일 때, 정보량의 단위는 natural unit (nat)이다. Entropy entro..

(23.01.27) 선형대수 정리하기 3탄 Identity matrix, inverse matrix, diagonal matrix Rank Null space Ax=b 의 해의 수

(23.01.27) 선형대수 정리하기 2탄 굿노트에 정리한 거를 티스토리에 옮기는 느낌이다,,ㅎㅎ Norm 아래는 간단한 예시를 그림으로 표현한 것이다. 행렬의 곱셈, 행렬의 곱셈의 4가지 관점 연립일차방정식을 행렬과 벡터의 곱으로 표현할 수 있는 것 처럼, 두개의 연립일차방정식을 행렬과 행렬의 곱으로 표현할 수 있다. 행렬 곱셈의 4가지 관점은 아래와 같다. Span, Basis (+ linear combination, linear independent) 선형독립 (23.04.01) 선형독립/선형종속 과 singular/non-singular matrix 정리

(23.01.27) 선형대수 정리하기 1탄 행렬의 기본 개념 행(row)는 가로, 열(column)은 세로라고 생각하면 된다. => 가로 2줄, 세로 3줄의 행렬은 2x3 크기를 가진 행렬이다. 행으로만 이루어진 벡터, 즉 가로만 있는 벡터를 row vector (행벡터)라고 부르고, 열로만 이루어진 벡터, 즉 세로만 있는 벡터를 column vector (열벡터)라고 부른다. 어떤 실수 a,b에 대해서 위의 식으로 2차원 좌표평면의 모든 것을 표현할 수 있다. Transpose - 전치 전치는 어렵지 않은 개념인데, 행렬에서 하나의 요소를 a_ij라고 표현했을 때, 전치시키면 같은 자리의 요소가 모두 a_ji가 된다. 즉, 오른쪽 아래 방향의 대각선은 그대로 있게 된다. (i와 j가 같은 숫자니까) 전..