Вариационные автоэнкодеры (VAE). Что это такое? | #28 нейросети на Python

Что из себя представляют вариационные автоэнкодеры и чем они отличаются от обычных автоэнкодеров. Принцип их работы. Мера Кульбака-Лейблера.

[KirillGalkin]

Я не нашёл лучше роликов с объяснением, чем у вас, а потратил я кучу времени. Вы отлично показываете причинно-следственные связи, за счёт чего материал воспринимается хорошо. Нет никакого тумана после просмотра

[oqjuvpj]

Спасибо, наконец-то понял необходимость репараметризирования

[evgzhu]

Качество материала на уровне научно-популярных фильмов канала ВВС! 5+

[argrigorov]

Очень чётко, ясно и по делу (без воды). И самое главное - что на конкретных примерах с кодом. Это одни из лучших видеоурокоа по теме нейросетей.
Спасибо!

[stasdavydov]

браво! Вы первый лектор из этой области знаний, чьи лекции не оставляют тягостного ощущения неясности. Искренне благодарю.

[sergeygetto]

Всё-таки немного знание статистики помогло в изучении. А объяснили всё великолепно!

[shadermagic]

Волшебство в репараметризации. Нейросеть "понимает" что дисперсия это именно дисперсия, потому что мы репараметризуем сэмплирование N(X, Y) как билинейную функцию X+Y*N(0, I), и при обратном распространении ошибки получаем различные градиенты в "направлении" X и Y.

[kpqhybm]

Стоило на облаке наверное лэйблы поставить

[qbbojve]

Скажите пожалуйста, а что такое -k в формуле DKL? Подозреваю, что это размерность нормального распределения. Например, если это двумерное нормальное распределение, то k будет равно 2. Так ли это? Так же хочу спросить, правильно ли я понимаю, что бы минимизировать DKL в конечной функции потерь надо что бы векторы, генерируемые кодером, были такими: вектор дисперсий содержал только единички, а вектор матожиданий содержал только нули? В таком случае, если меня не подводят мои подсчеты, DKL будет равен 0 (при условии, что k = 2).

[darkwingduck]

На отметке 7:50 график слева похож на летящего жука.

[linecodelinecode]

Приветствую вас!не подскажите какой параметр сохранит обученную сеть.(чтобы сеть не обуч лось заново)

[qbbojve]

Цитата: "остается открытым вопрос, а где здесь брать какие точки, что бы точно получать изображение цифр". Почему? Обычный авторэнкодер разве не отвечает на этот вопрос? Мы ведь
уже сгенерировали набор точек (сжатые векторы), почему бы нам не воспользоваться ими что бы получить осмысленный результат?

Еще одна цитата: "он конечно сформировал внутри себя вот эту вот область распределения вот этих вот точек скрытого состояния, но мы уже не можем сами взять вот в этой области
какую-то точку, что бы на выходе декодер нам смоделировал осмысленное изображение". Возникает вопрос, почему не можем? У нас же есть точки (область), по которым мы обучили декодер выдавать осмысленное изображение. Можем брать эти точки и подавать их декору и будет нам осмысленное изображение... Или тут речь о том что бы иметь возможность подавать на вход произвольные точки и все равно получать что-то осмысленное?