[밑시딥2] Chapter 1. 신경망 복습

 

 

 

 

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.

 

1.1 수학과 파이썬 복습

 

1.2 신경망의 추론

 

1.3 신경망의 학습

 

1.4 신경망으로 문제를 풀다

 

1.5 계산 고속화

 

1.6 정리

• 신경망은 입력층, 은닉층(=중간층), 출력층을 지닌다.
• 완전연결계층에 의해 선형 변환이 이뤄지고, 활성화 함수에 의해 비선형 변환이 이뤄진다.
• 완전연결계층이나 미니배치 처리는 행렬로 모아 한꺼번에 계산할 수 있다.
• 오차역전파법을 사용하여 신경망의 손실에 관한 기울기를 효율적으로 구할 수 있다.
• 신경망이 수행하는 처리는 계산 그래프로 시각화할 수 있으며, 이를 통해 순전퍼와 역전파를 이해하는 데 도움이 된다.
• 신경망의 구성요소들을 '계층'으로 모듈화해두면, 이를 조립하여 신경망을 보다 쉽게 구성할 수 있다.
• 신경망 고속화에는 GPU를 이용한 병렬 계산과 비트 정밀도가 중요하다.

 

1.7 소감

개인적인 사정으로 인해 지난번 모임에서는 1장을 학습하고 기고하지 못하였다. 오늘 오후내로 금방 읽고 1장과 2장을 모두 포스팅 할 줄 알았으나, 생각한 것 보다 처음보는 개념도 많고, 따라하면서 실습을 진행하다보니 시간이 오래 걸렸다. 그럼에도 불구하고 내가 여태껏 해보지 않았던 것들을 학습하면서 모처럼 설레기도 하였고, 또 시간가는줄 모르고 책을 읽었다. 

 

신경망의 학습쪽에서 수학적인 요소가 내가 생각한 것 보다 많이 나와서 읽고 이해하는데 어려움이 있었지만, 첫 잔에 배부를 수 없다고 생각하고 일단은 모든 내용을 이해하기보다는 가볍게 책을 읽어보는 느낌으로 진행해야겠다.