728x90 반응형 batch normalization1 밑바닥부터 시작하는 딥러닝 Chapter6 - 배치 정규화 input normalization - 전체 input 1000개에 대해서 -1 ~ 1 사이의 값을 갖게 하기 위해 N(0, 1) 로 정규화 한다. batch normalization - input normalization 후 50개씩 묶어서 20개의 배치를 만들었다고 했을 때 한 배치 안의 50개의 데이터의 평균과 분산이 N(0, 1) 이 아닐것이기 때문에 다시 정규화해주는 것이다. 배치 정규화를 사용하는 이유 - 각 층에서의 활성화값이 적당히 분포되도록 하기위해. 장점 - 학습 속도가 빠르다 : 적은 epoch 만으로도 LOSS 를 빠르게 줄일 수 있다. - 가중치 초깃값에 크게 의존하지 않는다. - 오버피팅을 억제한다.(드롭아웃 등의 필요성 감소) w 가 곱해지고 b가 더해지면 분포가 바뀌기 때문에.. 2022. 6. 27. 이전 1 다음 728x90 반응형
