AIFFEL 아이펠 34일차

Likelihood (MLE 와 MAP)

prior probability 사전확률: 데이터를 관찰하기 전 파라미터 공간에 주어진 확률 분포

poster probability 사후확률: 데이터를 관찰한 후 계산되는 확률

likelihood 가능도: prior 분포를 고정시키고, 주어진 파라미터 분포에 대해서 갖고 있는 데이터가 얼마나 비슷한지 나타내는 값. likelihood 가 높으면, 지정한 파라미터 조건에서 데이터가 관찰될 확률이 높다는 것이고, 데이터이 분포를 모델이 잘 표현하는 것이라고 봄

최대 가능도 추정maximum likelihood, MLE: 데이터들의 likelihood 값을 최대화하는 방향으로 모델을 학습시키는 방법

최대 사후 확률 추정maximum a posterior estimation, MAP: posterior를 최대화하는 방향으로 모델을 학습시키는 방법

 

머신러닝 모델은 한정된 파라미터로 데이터의 실제 분포를 근사하는 역할을 하기 때문에, 100%의 정확도를 내는 모델을 만들기는 불가능하다. 그래서 모델이 입력 데이터로부터 예측한 출력 데이터와 우리가 알고 있는 데이터의 실제 값label 사이에는 오차가 생긴다. 이는 우리에게 관찰되는 데이터에는 이미 노이즈가 섞여있어서 이런 오차가 발생한다고 해석한다.

 

likelihood의 중요성

데이터 포인트가 모델 함수에서 멀어질수록 데이터의 likelihood는 기하급수적으로 감소한다. 즉, 예측값과 라벨의 차이가 조금만 벌어져도 likelihood 값은 민감하게 반응하는 것이다. 머신러닝의 목표가 데이터 포인트들을 최대한 잘 표현하는 모델을 찾는 것이기 때문에, 결국 데이터 포인트들의 likelihood 값을 크게 하는 모델을 찾는 것이 된다.

 

수학식이 너무 많다... 알아듣지도 못할 수학 공식들.. 유도과정.. 이해가 1도 되지 않는다.

이번 노드는 포기다.. 짜증..