(23.01.27) Murphy_Machine_Learning 교재 참고 KL divergence 설명 잘해놓은 블로그: https://brunch.co.kr/@chris-song/69#comment Inforamtion theory information theory의 핵심 아이디어: 자주 일어나지 않는 사건이 자주 발생하는 사건보다 정보량이 많다. 여기서 말하는 정보량을 식으로 나타낸 것이 바로 아래의 식이다. 발생활 확률 p(x)이 큰 사건은 정보량 I(x)가 적고, 발생할 확률 p(x)이 작은 사건은 정보량 I(x)가 크다. 위 정보량 식에서 log의 밑이 2일 때, 정보량의 단위는 bit이고, log의 밑이 e일 때, 정보량의 단위는 natural unit (nat)이다. Entropy entro..