뮤트 개발일지

트랜스포머로 만드는 대화형 챗봇 트랜스포머 모델은 RNN과 비슷하지만, 임베딩벡터 다음에 포지셔널 임코딩을 더해준 것이 다르다. 트랜스포머는 RNN과 달리 문장의 모든 단어를 한번에 입력으로 받기 때문에 어순을 알려주기 위해 포지셔널 인코딩이 필요한 것이다. 즉, 단어의 임베딩 벡터에 위치 정보를 가진 벡터(Positional Encoding)값을 더해서 모델의 입력으로 삼는 것이다. 어텐션 어텐션 함수는 주어진 쿼지Query에 대해서 모든 키Key와의 유사도를 각각 구한다. 그리고 구한 유사도를 키와 맵핑되어있는 각각의 값Value에 반영한다. 반영된 값을 모두 더한 것이 최종 결과인 어텐션 값이된다. => 쿼리, 키, 값은 단어 정보를 함축한 벡터이다.(초기 입력으로 사용된 임베딩 벡터가 아닌, 트랜..

시퀀스 데이터: 나열된 데이터, 각 요소들이 동일한 속성을 띌 필요가 없으며 어떤 기준에 따라 정렬되어 있지 않아도 된다. https://kukuta.tistory.com/310 [Python] 시퀀스 자료형 #1 리스트(list) 파이썬에선 값이 연속적으로 이어진 자료형들을 총칭하여 "시퀀스 자료형(sequence type)"이라고 부른다. 이번 강좌에서는 파이썬의 시퀀스 자료 구조 중의 하나인 리스트에 대해 알아 본다. 기본적 kukuta.tistory.com 순환신경망 RNN 토큰으로 시작하여 생성된 단어를 다시 input하는 방식, 로 끝난다. tk.keras.preprocessing.test.Tokenizer: 텐서플로우가 제공하는 모듈(패키지), 정제된 데이터를 토큰화하고, 단어 사전을 만들어..