DL2022: Борьба с переобучением в нейронных сетях (часть 2)

Курс "Глубокое обучение (Deep Learning)"

В этой лекции...
Батч-нормализация (Batch normalization).
Расширение обучающего множества (Data Augmentation).
Аугментация: Mixup.
Ансамбль нейросетей.
Диагностика проблем с НС.
Кривые ошибок.
Настройка темпа обучения.
Transfer Learning.
Упрощение НС (Pruning).
Layer Normalization.
Оптимизация гиперпараметров.
Практические советы.

[boriswithrazor]

На 49:15 говорится, что усреднение весов моделей почти всегда не работает
Сейчас появилась парадигма Model Soup, которая показывает, что очень даже работает (хотя конечно это не усреднение в лоб, а есть нюансы, как модели получать) и местами даже лучше, чем ансамбли)
За лекцию огромное спасибо, очень информативно!