728x90 반응형 가충치 초기화1 밑바닥부터 시작하는 딥러닝 Chapter6 - 가중치의 초깃값 w 를 모두 0으로 초기화할 경우 업데이트도 모두 같은 값으로 바뀐다. 이렇게 되면 제대로 된 학습이 이루어지지 않는다. 때문에 초깃값은 랜덤하게 설정해야 한다. 정규분포(가우시안 분포) 분산 : 표준편차 σ의 제곱 그래프의 면적은 1에 수렴한다. 왼쪽 두 그래프를 보면 표준편차 σ는 절반이지만 높이는 2배이다. sigmoid 함수에서의 가중치 w 초깃값 w 의 분포를 표준편차 σ를 1로 설정했을 경우 w ~ N(0, 1^2) 에 sigmoid 함수의 출력값(활성화값) 분포 각 층의 활성화값들이 0과 1에 치우쳐 분포되어 있다. 시그모이드 함수는 그 출력이 0 또는 1에 가까워지면 그 미분값은 0에 가까워진다. 그래서 데이터가 0과 1에 치우쳐 분포하게 되면 역전파의 기울기 값이 점점 작아지다가 사라진다.. 2022. 6. 26. 이전 1 다음 728x90 반응형
