distributed training1 [Lecture 8] Training Neural Network 본 강의 학습 목표는 다음과 같다.Normalization: Input data, Feature map, Model weightDeep Learning Hardware: CPU vs GPU, Toeplitz matrixDistributed Training: Model parallelism, Data parallelismNormalization: Input dataInput data의 특징들이 매우 다양한 scale을 가지면 불안정한 학습을 할 수 있다. 따라서, 각 데이터들을 평균이 0이고 표준편차가 1로 normalization을 해준다. 즉, 데이터가 가지고 있는 범위를 조절하여 데이터 분포가 특정 boundary 안에 있게끔 해준다. 이를 통해, 데이터 scale의 민감성을 감소시키고 수렴을 더 빨.. 2024. 12. 16. 이전 1 다음
