(23.03.18) 이번에는 퍼셉트론을 이용한 AND, OR, NOR, XOR gate 연산, forward/backward propagation, activation function 에 대해 정리해보았다. Perceptron - 입력 신호에 가중치가 곱해지고, 그 값들이 더해져 최종적으로 출력한다. - 활성화 함수: 출력 노드에 모인 신호들을 내보낼 때, 얼마나 강하게 내보낼지 정하는 함수로 (sigmoid, ReLU 등이 있다) - perceptron의 학습: 출력값과 목표값을 비교하여 나오는 오차를 줄이는 방향으로 가중치(w)를 조절하는 것 - hyperparameter: w의 조정 정도 (learning rate), loss function을 무엇으로 정할 것인지, ----> weight (par..
(23.03.18) 이번에 정리할 unsupervised learning 모델은 k-means clustering, PCA 이다. k-means와 pca 코드 구현한 것 > 중심점이 바뀌지 않을 때까지 2번과 3번 과정을 반복한다. - cost function: 각 데이터들과 cluster 중심점 사이 거리의 평균 - 중심점을 어디로 잡느냐에 따라 clustering 결과가 달라지는데, 학습을 여러번 돌려보거나 training set을 랜덤하게 여러번 추출하여 돌려보면 해결할 수 있다. - k를 정하는 방법으로는 elbow method가 있다 -----> k의 개수를 늘려가며 cost의 추이를 파악하고, 꺾이는 지점의 k를 사용한다. pca (principal component analysis) - pc..
(23.03.18) 이번에 정리한 supervised learning 모델은 k-nn, SVM, decision tree, ensemble, random forest이다. SVM 관련 코드 구현 > svm의 goal: margin이 가장 큰 hyperplane 찾기 1. hard margin svm: 어떠한 data도 margin 내에 들어오지 않도록 하는 경우 margin 내의 데이터가 엄격하게 제한되기 때문에 small noise에도 민감하다. 2. soft margin svm: 일부 data는 margin 내에 들어오도록 허용하는 경우 이때는 margin내에 들어가는 data의 수를 제어하는 변수가 필요한데, 이를 slack이라고 한다. decision tree (결정트리) - classificat..
(23.03.18) overfitting (과적합) & underfitting (과소적합) overfitting problem : 모델이 training data에 지나치게 fitting하여 새로운 data에 대한 예측을 제대로 하지 못하는 것으로 일반화능력이 떨어지는 문제이다. - 학습하는 과정에서 error를 무조건 낮게 학습시키는 것은 overfitting을 초래할 수 있다. - overfitting 해결책 #1. feature 수 줄이기 - 어떤 feature를 유지할 것인가? -> model selection algorithm - overfitting 해결책 #2. regularization: feature들을 모두 유지하는 방법 - parameter(weights)들을 모두 조절해서 고차원 f..
(23.03.18) 추후 더 자세히...... 작성할 예정 softmax regression - softmax regression은 multi-class classification을 수행한다. - logistic regression classifier를 각 class i에 대해서 학습시키고, y=i일 확률을 예측한다. 새로운 input x에 대해 h(x)를 최대화하는 i를 찾는다. 그러면, 이는 input x는 해당 class에 속한다고 예측하는 것이다.
(23.03.18) binary classification -> logistic regression multi-class classification -> softmax regression logistic regression 관련 코드 구현한 것 >
(23.03.17) Multivariate Linear Regression : 다변량 선형 회귀 - linear regression에서는 feature가 하나였다면, multivariate linear regression에서는 feature가 여러 개이다. 가설함수, 손실함수, 경사하강법에 관련된 식들을 정리하면 아래와 같다. Locally-weighted linear regression - linear model을 여러 개 사용해서 non-linear predeictions 처럼 만들어주는 방법이다. - loss funciton은 아래와 같다. polynomial regression : 다항 회귀 - 다항 회귀는 feature는 하나인데, 가설함수 linear하지 않다. feature인 x의 지수가 다..
(23.03.17) suervised learning, 기계학습의 대표적인 방법인 linear regression 을 정리해보았다. linear regression 관련된 코드 구현 > hypothesis 가설 함수를 세우고 (parameter) , loss function을 세운다. 기본적인 가설함수로는 parameter가 2개인 일차함수 형태가 있다. loss function은 주로, 예측값과 실제값 차이의 제곱을 계산하는 함수로 둔다. (mean square loss) > loss function의 기울기를 계산하여 loss function을 최소화하는 지점을 찾고자 gradient descent 기법을 사용한다. > loss function을 최소화하는 parameter를 찾아 데이터를 가장 잘 ..
(23.03.17) 머신러닝 내용 정리하기 기계학습, 데분통 수강하며 정리했던 내용들 업로드 하는 중~~ 3월 안에 다 정리하는 것을 목표로 함!! Machine Learning - 전통적인 프로그래밍과는 다르게 컴퓨터에게 하나하나 지시하는 것이 아니라, 어떤 데이터가 주어졌을 때 그 속에서 규칙을 찾아내어 문제를 해결할 수 있도록 하는 것이다. - 그림으로 표현한다면 아래와 같다. Machine learning은 아래의 그림과 같이 분류해볼 수 있다. 그러나 현재 classification의 경우, supervised learning로 해결할 수도 있지만, unsupervised learning으로도 해결하고자하는 연구가 많이 나오고 있어 명확하게 task를 나누기엔 애매하다.
(2022.04.08) 기계학습 수업 들으면서 정리하기 10탄 Lecture5_ML 뒷부분 내용 정리 군집화 clustering - 소속집단의 정보가 없는 상태에서 비슷한 집단으로 묶는 비지도 학습 - 입력 데이터를 통해서 출력값을 예측하는 것보다는 데이터에서의 의미를 파악하고 기준을 만드는 것이 목적이다. 분류와 군집화는 데이터를 비슷한 집단으로 묶는다는 공통점이 있지만, 차이점은 명확하다. k-means 알고리즘 (sklearn에서 제공하는 cluster 모듈에 존재) : 데이터를 k개의 그룹으로 나누는 알고리즘이다. - 장점: 원리가 단순하고 직관적이며, 성능이 좋은 군집화 알고리즘 - 단점: 사전에 군집 cluster 의 개수 k값을 정해야함 k-NN vs k-means 1. k-NN 이미 주어진..
(2022.04.02 ~ 04.07) 기계학습 수업 들으면서 정리하기 9탄 Lecture5_ML 내용 정리 머신러닝은 크게 3가지로 분류할 수 있다. 지도학습, 비지도학습, 강화학습인데 - 지도학습에는 회귀, 분류가 있고, - 비지도학습에는 군집화, 차원 축소, GAN이 있다. 이번 강의에서는 지도학습의 분류와 비지도학습의 군집화에 대해서 공부해보았다. 분류와 군집화는 비슷한 집단으로 묶는다는 공통점이 있다. 그러나 차이점은 분명하다. - 분류는 소속 집단의 정보를 알고 있는 상태에서 비슷한 집단으로 묶는 것이고, - 군집화는 소속 집단의 정보를 모르는 상태에서 비슷한 집단으로 묶는 것이다. 분류 Classification 닥스훈트와 사모예드를 분류한다고 해본다면, feature로는 몸통의 길이와 높이로..
(2022.04.02) Lecture4_practice2 실습하기 [다변량 선형회귀 분석 실습 - 훈련용 데이터와 검증용 데이터로 분리하여 학습] [데이터 정규화] [데이터 표준화] 데이터가 작은 쪽으로 몰려있는 것을 확인해 볼 수 있다. 표준화를 통해 평균값 0 근처에 모여있는 것을 확인할 수 있다.
(2022.04.02) Lecture4_practice1 실습하기 [경사하강법] - 직접 코드 구현 - scikit-learn 이용 (scikit-learn: 파이썬에서 가장 많이 사용되는 기계학습 라이브러리) [정규 방정식]
(2022.04.02) 기계학습 수업들으면서 정리하기 8탄 Lecture4_ML 내용정리-2 다변량 선형회귀 분석을 위해서는 데이터 확보가 매우 중요하다. 캐글(kaggle)이라는 사이트는 다양한 데이터를 가지고 있는데, 여기서 데이터를 가져와 실습을 진행해보았다. y는 기대수명으로 두고, x에 해당하는 데이터를 정리하려고한다. 기대수명과의 상관관계를 파악하여 상관관계가 높은 데이터만 가져오고, 낮은 데이터를 버리도록 한다. 왜냐면, 상관관계가 크지 않는 데이터까지 포함해버리면, 학습이 잘 되지 않거나, 예측의 신뢰도가 떨어질 수 있기 때문이다. 1. 우선, 다변량 데이터의 값이 있는지 없는지를 판별한다. --> isnull() 2. 데이터 값이 없다면, dropna(inplace=True) 를 통해서 ..
(2022.03.30~04.01) 기계학습 들으면서 정리하기 7탄 Lecture4_ML 내용정리-1 예측선 긋기: 선형회귀 -----> 오차 수정하기: 경사하강법 (오차를 줄이는 방향으로 함수의 계수를 최적화함) 회귀 Regression : 회귀 분석은 대표적인 지도학습 알고리즘 선형회귀: 독립변수 x를 사용하여 종속변수 y의 움직임을 예측하고, 설명하는 작업. 예측선을 긋는 일 - 단순 선형회귀: 하나의 x값으로 y값 설명이 가능할 때 - 다중 선형회귀: x값이 여러 개 필요할 때 - 선형회귀의 모델은 선형 방정식, 동작을 결정하는 파라미터는 직선의 기울기(w)와 y절편(b) - 선형회귀의 오차함수(손실함수,비용함수)의 예로는 평균제곱오차가 있음 - 선형회귀에서의 학습은 손실함수인 MSE를 최소로 만드..