AIFFEL 아이펠 36일차

정보이론

정보 이론 information theory: 추상적인 정보라는 개념을 정리하고, 정보의 저장과 통신을 연구하는 분야

정보를 정량적으로 표현하기 위해 필요한 조건 3가지

1. 일어날 가능성이 높은 사건은 정보량이 낮고, 반드시 일어나는 사건에는 정보가 없는 것이나 마찬가지이다.

2. 일어날 가능성이 낮은 사건은 정보량이 높다.

3. 두 개의 독립적인 사건이 있을 때, 전체 정보량은 각각의 정보량을 더한 것과 같다.

 

Entropy

특정 확률분포를 따르는 사건들의 정보량 기댓값

 

손실함수: 머신러닝에서 모델이 나타내는 확률 분포와 데이터가 따르는 실제 확률 분포 사이의 차이를 나타내는 함수

---

목차

- Information Content

- Entropy

- Kullback Leibler Devergence

- Cross Entropy Loss

- Decision Tree 와 Entropy

 

오늘도 수식이 너무 많고 이해가 되지 않았다..

혼공머 쭉 훑어본 다음에 Entropy, Likelihood 등 수식나온 부분들 필요하다면 다시 봐야겠다.

오후에는 프로그래머스 코딩테스트를 풀어보는데, 어려운 레벨까지 잘 풀었으면 좋겠다.

---