밑바닥부터 시작하는 딥러닝 Chapter5 - 오차역전파법

 

 

 

 

Chain Rule

 

z = t^2, t = x + y라 하면

 

계산 그래프로 나타내면 다음과 같다.

 

 

 

덧셈노드 역전파

상류의 값이 그대로 하류로 간다.

 

 

 

곱셈노드 역전파

상류의 값에 순전파 때의 입력 신호들을 서로 바꾼 값을 곱해서 하류로 간다.

 

 

 

 

Affine Layer

- 계산(행렬의 곱과 편항의 합)하는 계층

차원을 맞추기 위해 transpose 할 수도 있다.

 

 

 

배치용 Affine 계층

 - 데이터를 N개 묶어 순전파 하는 경우에 대한 배치(Batch)용 Affine

 

 

 

 

사진 출처

 

https://mathsathome.com/chain-rule-differentiation/

 

https://velog.io/@kyj93790/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-%EB%94%A5%EB%9F%AC%EB%8B%9D-5.-%EC%98%A4%EC%B0%A8%EC%97%AD%EC%A0%84%ED%8C%8C%EB%B2%95-part1-%EA%B3%84%EC%82%B0-%EA%B7%B8%EB%9E%98%ED%94%84%EC%99%80-%EC%97%AD%EC%A0%84%ED%8C%8C

 

https://velog.io/@kyj93790/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-%EB%94%A5%EB%9F%AC%EB%8B%9D-5.-%EC%98%A4%EC%B0%A8%EC%97%AD%EC%A0%84%ED%8C%8C%EB%B2%95-part2-%EA%B3%84%EC%B8%B5-%EA%B5%AC%ED%98%84