뮤트 개발일지

정보이론 정보 이론 information theory: 추상적인 정보라는 개념을 정리하고, 정보의 저장과 통신을 연구하는 분야 정보를 정량적으로 표현하기 위해 필요한 조건 3가지 1. 일어날 가능성이 높은 사건은 정보량이 낮고, 반드시 일어나는 사건에는 정보가 없는 것이나 마찬가지이다. 2. 일어날 가능성이 낮은 사건은 정보량이 높다. 3. 두 개의 독립적인 사건이 있을 때, 전체 정보량은 각각의 정보량을 더한 것과 같다. Entropy 특정 확률분포를 따르는 사건들의 정보량 기댓값 손실함수: 머신러닝에서 모델이 나타내는 확률 분포와 데이터가 따르는 실제 확률 분포 사이의 차이를 나타내는 함수 목차 - Information Content - Entropy - Kullback Leibler Devergen..

인간보다 퀴즈를 잘 푸는 인공지능 BERT 모델 Transformer Encoder 구조만을 활용한다. Layer는 12개 이상으로 늘리고, 파라미터 크기가 크긴 하지만 트랜스포머 모델과 기본적인 구조는 동일하다. BERT 모델은 Decoder가 없는 대신, 출력 모델이 Mask LM, NSP라는 2가지 모델을 해결하도록 되어 있다. Mask LM 입력데이터가 '나는 먹었다' 일 때, BERT 모델이 가 '밥'임을 맞출 수 있도록 하는 언어모델이다. Next Sentence Prediction 입력데이터가 '나는 밥을 먹었다. 그래서 지금 배가 부르다.'가 주어졌을 때 을 경계로 좌우 두 문장이 순서대로 이어지는 문장이 맞는지 맞추는 문제이다. BERT 모델은 이 두 문장을 입력으로 받았을 때 첫 번째 ..

Likelihood (MLE 와 MAP) prior probability 사전확률: 데이터를 관찰하기 전 파라미터 공간에 주어진 확률 분포 poster probability 사후확률: 데이터를 관찰한 후 계산되는 확률 likelihood 가능도: prior 분포를 고정시키고, 주어진 파라미터 분포에 대해서 갖고 있는 데이터가 얼마나 비슷한지 나타내는 값. likelihood 가 높으면, 지정한 파라미터 조건에서 데이터가 관찰될 확률이 높다는 것이고, 데이터이 분포를 모델이 잘 표현하는 것이라고 봄 최대 가능도 추정maximum likelihood, MLE: 데이터들의 likelihood 값을 최대화하는 방향으로 모델을 학습시키는 방법 최대 사후 확률 추정maximum a posterior estimati..