[밑바닥부터 시작하는 딥러닝] 4.4 기울기 ~ 4.5.1 2층 신경망 클래스 구현하기

2020. 06. 15.

 

히구의 기대를 저버리고 딴짓하다 잠시 손을 놨던 책을 다시 잡았다.

 

오늘은 4.4 기울기 ~ 4.5.1 2층 신경망 클래스 구현하기 까지 진행했는데,

용어들은 대부분 잊지않았지만 상세 개념들을 잊어버렸다.

 

열심히 진도나가다가 이게 뭐였지? 하고 개념찾으러 앞장으로 삼만리를 몇번이나 했는지 모르겠다.

 

최소한 오늘은 한글자도 빠짐없이 이해하며 진행해서 뿌듯하다.

 

---

편미분

무심코 한 말에 대한 편미분 = ∂여자친구와의 싸움 / ∂무심코 한 말

 

02:38 ~ 15:53

기울기  gradient

1) 모든 변수의 편미분을 벡터로 정리한 것

2) 기울기는 각 지점에서 낮아지는 방향을 가리킨다

    2-2) 즉, 기울기가 가리키는 쪽은 각 장소에서 함수의 출력 값을 가장 크게 줄이는 방향

 

경사법 gradient method

1) 현 위치에서 기울어진 방향으로 일정 거리만큼 이동

2) 이렇게 함수의 값을 점차 줄이는 것

 

ŋ 에타, 학습률 learning rate

1) 갱신하는 양. 즉, 매개변수 값을 얼마나 갱신하는지

2) 해당 값은 0.01이나 0.001등 미리 특정 값으로 정해두어야함

3) 너무 크거나 작으면 좋은 결과를 얻을 수 없다

 

하이퍼파라미터 hyper parameter, 초매개변수

1) 사람이 직접 설정해야하는 매개변수

 

오차역전파법?

기존 수치 미분 방식으로 매개변수의 기울기를 계산하였으나, 오차역전파법을 사용하면 거의 같은 결과를 훨씬 빠르게 얻을 수 있음

 

---

 

매번 느끼는거지만 처음부터 끝까지 대충 이해못해도 훑어 본 다음 다시 읽는것과

처음부터 하나하나 개념 파악하며 끝까지 정독하는게 좋은걸까?

 

다들 전자가 좋다고 하지만 아직 잘 모르겠다.