Семинар №4 Нормализация

00:00 Начало
00:04 Материал прошлой лекции
02:36 Нормализация
06:23 Причины нормализации: Стабильность
07:14 Нелинейность
08:05 Подготовка данных (Data Preprocessing)
08:18 Pytorch Normalize
08:51 Инициализация весов
10:59 Случайная инициализация весов
12:28 Vanishing/exploding gradients
13:35 Чему равна дисперсия на выходе слоя?
14:03 Инициализация методом Завьера (Xavier Glorot)
14:55 Инициализация для ReLU
15:07 Инициализация Kaiming (He/MSRA)
15:30 Пример инициализации в PyTorch
16:18 Batch Normalization
17:06 В ходе обучения распределения весов меняется
17:36 Затухание градиента
18:35 Нормализация активаций
19:26 Обучаемые параметры в слое нормализации
21:18 Варианты нормализаций
24:56 Batch normalization
25:20 Batch normalization в режиме выводы (Inference)
29:06 Batch normalization for Convolution layers
29:43 Градиенты после Batch Norn
31:32 Преимущества Batch normalization
32:30 Batch normalization in Pytorch
33:01 Layer Norm
33:50 Use of batch Normalization
34:21 Результаты