셩잇님의 잡동사니

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.  6.1 RNN의 문제점 RNN은 장기 의존 관계를 학습하기 어렵다. 왜냐하면 BPTT에서 기울기 소실 혹은 폭발이 일어나기 때문이다. 6.1.1 RNN 복습 RNN 계층은 시계열 데이터 xt를 입력하면 ht를 출력하는데 이 ht는 RNN의 은닉 상태라고 하며 과거 정보를 저장한다. 또한 RNN 특징으로는 바로 이전 시각의 은닉 상태를 이용하는 것이다. 6.1.2 기울기 소실 또는 기울기 폭발   RNNLM이 위 문제에서 올바르게 대답하려면 현재 맥락에서 "Tom이 방에서 TV를 보고 있음"과 "그 방에 Mary가 들어옴"이..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.  5.1 확률과 언어 모델5.1.1 word2vec을 확률 관점에서 바라보다  CBOW 모델을 복습하면 우리는 t 번째 단어를 '타킷', t-1, t+1을 '맥락'으로 취급하여 아래와 같이 수식으로 나타냈다.   그런데 여태까지 맥락을 항상 '좌우 대칭'으로 생각했지만, 이번에는 맥락을 왼쪽으로만 한정지어 생각해보자.   맥락을 왼쪽으로 한정지을 경우 위와 같은 수식으로 나타낼 수 있다. CBOW 모델의 학습으로 수행하는 일은 손실함수를 최소화하는 가중치 매개 변수를 찾는 것인데, 본래 목적은 맥락으로부터 타깃을 정확하게 추..