[ML] Gradient Descent : 경사하강법

 

(2022.03.26)

기계학습 수업들으면서 정리하기 3탄

Lecture2_ML 내용 정리 -2

 

---

 

머신러닝은 문제를 해결하는 모델

모델의 동작을 결정하는 것은 파라미터

파라미터를 더 좋은 상태로 변경하는 것이 학습

 

모델은 현재의 파라미터를 바탕으로 행동을 하는데, 이는 실제 결과와 차이가 있음. --> 이를 오차라고 함.

오차가 없다 == 학습이 완벽하게 잘 되어있다 == 모델이 데이터를 잘 설명한다고 볼 수 있다

---> 학습이란 오차가 줄어드는 방향으로 파라미터를 변경하는 일이라고 할 수 있음.

 

 

 

 

경사하강법: Gradient Descent

 

- 현재 가중치 w위치에서 오차 곡면의 기울기를 알면, 기울기를 따라 내려가 곡면의 낮은 곳으로 갈 수 있음

- 최적해에 도달하면, 기울기 벡터가 0이 될 것이고, 이는 경사하강법을 통한 최적화라고 말함. (최적화: Optimization)

- hyperparameter : 학습과정에 영향을 미치는 값

 

출처: 교수님 강의노트

 

But, 경사하강법을 통해 얻은 답은 일정한 영역 내에서만 좋은 답임

- 지역 최소값: 일정 영역 내에서 가장 좋은 지점 ( == 지역 최적값 )

- 전역 최소값: 전체 공간에서 가장 좋은 해 ( == 전역 최적값 )

----> 지역 최적값에 붙잡혀 전역 최적값을 찾지 못할 위험이 있음

 

 

경사하강법을 통한 학습 --> 현재의 가중치 w를 더 좋은 가중치 w'으로 바꾸는 것