(23.12.18) 최적화 : 매개변수의 최적값을 찾는 것. 즉, 신경망의 학습에서는 손실함수의 결과값을 최솟값으로 만들기 위한 손실함수의 매개변수 최적값을 찾는 것을 말한다. 최적의 매개변수 값을 찾기 위해서 미분을 이용하였다. -> gradient descent, back propagation SGD, Momentum, AdaGrad, Adam ㄴSGD 는 방향에 따라 기울기가 달라지는 함수에서는 탐색경로가 비효율적이다. 가중치 초기값 설정 Xavier 초기값과 He 초기값 Batch Normalization - 학습 속도 개선 - 초기값 의존도 down - overfitting 개선 => mini-batch 단위로 정규화를 진행한다. 데이터 분포가 평균이 0, 분산이 1이 되도록 정규화한다. Ove..