목록BERT (1)

뮤트 개발일지

AIFFEL 아이펠 35일차

인간보다 퀴즈를 잘 푸는 인공지능 BERT 모델 Transformer Encoder 구조만을 활용한다. Layer는 12개 이상으로 늘리고, 파라미터 크기가 크긴 하지만 트랜스포머 모델과 기본적인 구조는 동일하다. BERT 모델은 Decoder가 없는 대신, 출력 모델이 Mask LM, NSP라는 2가지 모델을 해결하도록 되어 있다. Mask LM 입력데이터가 '나는 먹었다' 일 때, BERT 모델이 가 '밥'임을 맞출 수 있도록 하는 언어모델이다. Next Sentence Prediction 입력데이터가 '나는 밥을 먹었다. 그래서 지금 배가 부르다.'가 주어졌을 때 을 경계로 좌우 두 문장이 순서대로 이어지는 문장이 맞는지 맞추는 문제이다. BERT 모델은 이 두 문장을 입력으로 받았을 때 첫 번째 ..
AIFFEL 2022. 2. 18. 12:43
이전 Prev 1 Next 다음