Глубинное обучение. Оптимизация для глубинного обучения. Школа анализа данных, Яндекс

preview_player
Показать описание
Рассматриваются основные алгоритмы для оптимизации функций потерь в глубинном обучении, а именно стохастический пакетный градиентный спуск и его модификации. Особое внимание уделяется градиентному спуску с моментом. Обсуждается так же пакетная нормализация (batch normalization).
  1. Yandex for ML
  2. шад
  3. школа анализа данных
  4. стохастическая оптимизация
  5. стохастический градиентный спуск
  6. пакетный градиентный спуск
Рекомендации по теме
Глубинное обучение. Оптимизация 1:40:24

Глубинное обучение. Оптимизация для глубинного обучения. Школа анализа данных, Яндекс...

Глубинное обучение 1, 1:24:12

Глубинное обучение 1, лекция 3 – оптимизация нейронных сетей...

Глубокое обучение. Лекция 0:47:12

Глубокое обучение. Лекция 11. Методы оптимизации в обучении глубоких нейронных сетей (2019-2020)...

Ольга Гребенькова: Вариационная 0:07:11

Ольга Гребенькова: Вариационная оптимизация моделей глубокого обучения...

Основы глубинного обучения, 0:55:42

Основы глубинного обучения, лекция 5 — оптимизация в глубинном обучении...

Глубокое обучение с 0:08:47

Глубокое обучение с MATLAB - Оптимизация параметров и гиперпараметров сети...

Основы глубинного обучения, 1:17:07

Основы глубинного обучения, лекция 4 — оптимизация в глубинном обучении...

Приложения глубокого обучения: 0:15:17

Приложения глубокого обучения: 1. Передача обучения

Лекция. Градиентная оптимизация 0:36:09

Лекция. Градиентная оптимизация в Deep Learning

Современные методы машинного 1:15:54

Современные методы машинного обучения, лекция 4 — оптимизация в глубинном обучении...

Оптимизация и запуск 0:55:14

Оптимизация и запуск моделей TensorFlow с помощью TensorRT (Дмитрий Миронов)...

Глубинное обучение. Латентные 1:44:41

Глубинное обучение. Латентные глубокие модели. Школа анализа данных, Яндекс...

Глубинное обучение и 0:16:29

Глубинное обучение и обучение с подкреплением — Евгений Бурнаев...

Основы глубинного обучения, 1:14:23

Основы глубинного обучения, лекция 4 — Оптимизация в глубинном обучении...

Семинар. PyTorch. Оптимизаторы 0:07:28

Семинар. PyTorch. Оптимизаторы

[DeepBayes] День 2, 0:44:56

[DeepBayes] День 2, лекция 3. Обзор библиотек глубинного обучения (Арсений Ашуха)...

Глубинное обучение 1, 1:27:01

Глубинное обучение 1, лекция 2 - оптимизация нейронных сетей, dropout, batch-нормализация...

Глубокое обучение с 0:04:04

Глубокое обучение с MATLAB - Генерация GPU кода

[DeepBayes] День 1, 1:38:14

[DeepBayes] День 1, лекция 3. Введение в стохастическую оптимизацию (Дмитрий Кропотов)...

Начало работы с 0:07:37

Начало работы с нейронными сетями (с примером в Keras)

[DeepBayes] День 1, 0:59:17

[DeepBayes] День 1, лекция 1. Обзор нейросетевых архитектур (Евгений Соколов)...

Алексей Потапов — 0:51:22

Алексей Потапов — Глубокое обучение, вероятностное программирование и метавычисления...

Оптимизация параметров детектора 0:20:55

Оптимизация параметров детектора частиц методами машинного обучения...

Возможности адаптации или 0:32:57

Возможности адаптации или персонализации диффузионных моделей (Михаил Хороших)...

Комментарии
Автор

очень необычный подход, на 01:03:20, перед объяснением того как работает BN ввести другой слой и назвать его "toy BN", подразумевая что студенты уже знают что такое BN. Не представляю как без знания того что делает BN понять как под знаком суммы оказались w_2 и w_1. Имхо, как минимум нужно оговориться, что нормируются не входы В СЕТЬ, а входы В ТЕКУЩИЙ СЛОЙ. ну и не очень ясно, какое отношение эта выдуманная функция w1*w2*w3*w4 имеет к реальным задачам. Для вашей функции у нас, конечно, получилось что разница между весами в 5 порядков нам не помешала, но к реальности, как мне кажется, это не имеет никакого отношения. Но спасибо за попытку придумать объяснение лучше чем то, что BN просто почему-то работает и дать какую-то интуицию.

brsch