DEEP LEARNING | Обучение глубоких нейронных сетей | Дмитрий Коробченко (NVIDIA)

Deep Learning.
Введение в машинное обучение, нейронные сети и искусственный интеллект.
Дмитрий Коробченко (NVIDIA)
-------
Типы задач, решаемых с помощью машинного обучения и нейронных сетей.
Типы данных: низкоразмерная абстрактная информация, изображения, видео, аудио, текст.
-------
Устройство нейронных сетей. Многослойный перцептрон. Функция активации. Нейронные сети прямого распространения (Feed-Forward Neural Nets).
Прямое распространение (Inference).
Обучение нейронных сетей. Алгоритм обратного распространения ошибки (backpropagation).
Простые задачи: классификация и регрессия.
-------
Компьютерное зрение. Задачи компьютерного зрения: классификация изображений, локализация объектов на изображении, детектирование объектов, семантическая сегментация. Сложности компьютерного зрения.
Признаки в машинном зрении, обучение признаков, обучение представления (representation learning)
Свёртка, свёрточный оператор, свёрточный слой, свёрточная нейронная сеть.
Глубокие нейронные сети. Deep Learning: Обучение иерархии признаковых представлений.
Типы слоёв в свёрточной нейронной сети: свёрточный слой (convolutional layer), понижение размерности (pooling), полносвязный слой (fully-connected, dense layer).
Примеры задач компьютерного зрения: распознавание лиц, идентификация лиц, автопилот (self-driving car), медицинские изображения (сегментация, детектирование аномалий).
-------
Обработка последовательностей. Обработка естественного языка (NLP). Обработка текстов.
Рекуррентные нейронные сети (RNN).
Примеры задач NLP: умная клавиатура (предсказание следующего слова), анализ комментариев, машинный перевод, чат-боты.
Распознавание речи, обработка аудио.
Генерация названия для изображений на естественном языке (image captioning)
-------
От распознавания к синтезу. Распознавание и синтез (генерация) как аналогия с восприятием и творчеством.
Текстурные признаки. Перенос стиля (Style Transfer). Neural doodle
Генеративные состязательные сети (Generative Adversarial Networks, GAN): генератор и дискриминатор.
Синтез изображений по текстовому описанию (текст и картинку).
Синтез изображения по изображению (картинка в картинку, pix2pix).
Перенос стиля для видео. Перенос стиля для лиц.
Синтез фотореалистичных лиц (несуществующих людей).
Синтез звука, синтез речи (текст в аудио, WaveNet)
Синтез видео по записи голоса (Аудио в видео, Talking Obama)
-------
Причины успеха глубоко обучения: совершенствующиеся алгоритмы и архитектуры нейронных сетей, доступные объёмы данных (big data), ускорение обучения и inference нейронных сетей с помощью GPU
-------

[angellife]

Уважаемый Дмитрий, подскажите пожалуйста, как сделать НС, неподверженную локальным минимумам, а неуклонно идущей к глобальному минимуму ошибки, при обучении. Ну кроме смещения старта обучения. Жаль, что ни кто не спросил этого в видео.