[ML] 과적합 & 과소적합

 

(2022.03.26)

기계학습 수업들으면서 정리하기 4탄

Lecture2_ML 내용 정리-3

---

 

과적합: overfitting

- 특정한 데이터 집합에만 매우 정확하며, 다른 데이터에는 들어맞지 않는 상태

- 일반화가 제대로 되지 않음을 의미

- 주요 원인: 1) 학습에 사용된 데이터 수가 적음

                   2) 데이터를 설명하기 위한 곡선이 너무 복잡함(사소한 것까지 반영됨)

 

출처: 교수님 강의노트

 

 

 

과적합 해결하기: 패널티 부여 

과적합의 근본적인 문제는 모델에 지나친 자유를 부여한 것

--> 모델이 데이터에 지나치게 맞춰지지 않도록 억제해야함

--> 모델을 복잡하게 하지 않도록 복잡성에 대한 regularization 기법(패널티)을 이용함. --> 단순하게

 

출처: 교수님 강의노트

 

--> 학습은 오차를 줄이는 것 뿐만 아니라 패널티 항도 같이 줄이는 일을 하게 됨

--> 패널티 항으로 어떤 것을 사용하는 지에 따라 regulation의 특성도 달라짐.

 

 

 

 

과소적합: underfitting

- 학습이 지나치게 덜 이루어져 새로운 데이터 뿐만 아니라 학습 데이터까지도 제대로 설명하지 못하는 모델

- 주요 원인: 1) 모델이 지나치게 단순한 경우

                   2) 예측을 제대로 할 수 없는 특징들만 제공된 경우

- 학습 모델의 복잡도를 높이거나, 입력 데이터의 특징을 바꾸는 것으로 과소적합 해결 가능

 

출처: 교수님 강의노트

 

 

최종정리