본문 바로가기
728x90
반응형

딥러닝9

밑바닥부터 시작하는 딥러닝 Chapter5 - 오차역전파법 Chain Rule z = t^2, t = x + y라 하면 계산 그래프로 나타내면 다음과 같다.   덧셈노드 역전파상류의 값이 그대로 하류로 간다.   곱셈노드 역전파상류의 값에 순전파 때의 입력 신호들을 서로 바꾼 값을 곱해서 하류로 간다.    Affine Layer- 계산(행렬의 곱과 편항의 합)하는 계층차원을 맞추기 위해 transpose 할 수도 있다.   배치용 Affine 계층 - 데이터를 N개 묶어 순전파 하는 경우에 대한 배치(Batch)용 Affine    사진 출처 https://mathsathome.com/chain-rule-differentiation/ https://velog.io/@kyj93790/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B.. 2022. 6. 25.
밑바닥부터 시작하는 딥러닝 Chapter4 - 신경망 학습 epoch(에포크) - 전체 트레이닝 셋이 신경망을 통과한 횟수 - 1-epoch는 전체 트레이닝 셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한 번 통과했다는 것을 의미 - epoch를 높일수록, 다양한 무작위 가중치로 학습을 해보는 것이므로 적합한 파라미터를 찾을 확률이 올라간다. 즉, 손실값이 내려간다. - 지나치게 epoch를 높이게 되면, 그 학습 데이터셋에 과적합(overfitting)되어 다른 데이터에 대해선 제대로 된 예측을 하지 못할 수 있다. 1epoch : [1, 2, 3, 4], [5, 6, 7, 8], [] ...2epoch : [45, 9, 24, 83], [5, 378, 75, 14], [] ...위와 같이 다음 epoch를 돌릴 때 batch의 순서를 섞는 .. 2022. 6. 17.
밑바닥부터 시작하는 딥러닝 Chapter3 - 신경망 퍼셉트론에서 보았던 위 식을 다음과 같이 표현할 수 있다.여기서 쓰인 h(x) 를 activation function (활성화 함수) 라고 부른다.위 식은 step fucntion (계단 함수) 하고 하며정리하면"퍼셉트론에서는 활성화 함수로 계산함수를 이용한다" 가 된다.활성화 함수는 step func, ReLU, sigmoid, softmax, tanh 등 여러가지가 있으며 nonlinear 하다는 특징이 있다.  sigmoid 함수 x가 커지면 h(x) = 1   작아지면 h(x) = 0  hidden layer 에서는 activation function 으로 ReLU 를 주로 사용한다. 아웃풋의 종류가 classification (분류) 인 경우 마지막에 - 두가지만 나누는 binary 의 경우 주.. 2022. 6. 14.
밑바닥부터 시작하는 딥러닝 Chapter2 - Perceptron(퍼셉트론) 퍼셉트론 - 신경망(딥러닝)의 기원이 되는 알고리즘 - 여러 인풋을 받고 하나의 아웃풋 출력  원 : 뉴런 또는 노드라고 부른다.weight(가중치) : w1, w2. 각 인풋의 중요도에따라 크거나 작다.1은 '뉴런이 활성화한다' 라는 의미 bias(편향) : 뉴런이 얼마나 쉽게 활성화 되는지를 조정.                    b 가 -0.1 이면 w1x1+w2x2 가 0.1초과이기만 하면 되고                    b 가 -20 이면 w1x1+w2x2 가 20 초과여야 뉴런이 활성화 된다.  (단층)퍼셉트론은 AND, NAND, OR 등과 같은 선형은 구현 가능하지만XOR 같은 비선형은 구현할 수 없다.   XOR을 구현하려면 곡선을 이용해야 한다.이를 위해서는 MLP(Multi-.. 2022. 6. 13.
728x90
반응형

티스토리툴바