Modern Deep Learning (2023). Лекция 10. Skip Connections

preview_player
Показать описание

  1. Евгений Разинков
  2. machine learning
  3. computer vision
  4. AI
  5. razinkov.ai
  6. объяснение
Рекомендации по теме
Modern Deep Learning 0:59:51

Modern Deep Learning (2023). Лекция 1. Введение (курс 'Современное глубокое обучение', 202...

Modern Deep Learning 1:17:56

Modern Deep Learning (2023). Лекция 3. Целевая функция, метрики, обучение нейронной сети...

Modern Deep Learning 1:24:25

Modern Deep Learning (2023). Лекция 15. Обратное распространение через Transformer. Часть 2....

Modern Deep Learning 1:22:31

Modern Deep Learning 2023 Лекция 2 Строительные блоки

Modern Deep Learning 0:46:08

Modern Deep Learning (2023). Лекция 10. Skip Connections

Modern Deep Learning 0:59:51

Modern Deep Learning 2023 Лекция 1 Введение

Modern Deep Learning 1:36:08

Modern Deep Learning (2023). Лекция 13. Full Transformer Architecture

Modern Deep Learning. 1:22:31

Modern Deep Learning. Лекция 2. Строительные блоки (курс 'Современное глубокое обучение', ...

Modern Deep Learning 1:14:23

Modern Deep Learning (2023). Лекция 8. Механизм внимания – Multi-Head Attention...

Modern Deep Learning 1:07:07

Modern Deep Learning (2023). Лекция 11. Layer Normalization

Обратное распространение. . 1:12:18

Обратное распространение. . Лекция 4 по Modern Deep Learning (2023)

Философия глубокого обучения. 1:07:09

Философия глубокого обучения. Лекция 6 по Modern Deep Learning.

Механизмы внимания. Лекция 1:23:59

Механизмы внимания. Лекция 7 по Modern Deep Learning (2023).

Modern Deep Learning 1:23:12

Modern Deep Learning (2023). Лекция 9. Основы архитектуры

Обратное распространение через 1:13:47

Обратное распространение через MLP . Лекция 5 по Modern Deep Learning (2023)....

Modern Deep Learning 0:59:13

Modern Deep Learning (2023). Лекция 14. Обратное распространение через механизм внимания...

Роль Feed Forward 0:55:40

Роль Feed Forward Layers. Лекция 12 по Modern Deep Learning (2023).

Why greatest Mathematicians 0:00:38

Why greatest Mathematicians are not trying to prove Riemann Hypothesis? || #short #terencetao #maths

ICLR 2021 Keynote 0:38:27

ICLR 2021 Keynote - 'Geometric Deep Learning: The Erlangen Programme of ML' - M Bronstein

Глубокое обучение. Лекция 1:12:00

Глубокое обучение. Лекция 1. Введение в глубокое обучение (курс 'Deep Learning', 2019-2020...

MIT 6.S191: Evidential 0:48:52

MIT 6.S191: Evidential Deep Learning and Uncertainty

Lecture 1: Introduction 0:57:56

Lecture 1: Introduction to Deep Learning for Computer Vision

MIT Introduction to 0:49:01

MIT Introduction to Deep Learning (2022) | 6.S191

Mechanical Engineering Class 0:00:19

Mechanical Engineering Class at IIT BHU 🔥 | ED | #iit #iitbhu #shorts #viral #jee #mechanical

Комментарии
Автор

Спасибо большое за лекцию!
Отлично, что так подробно объясняете
и приводите много ссылок на статьи,
это помогает понимать сложный материал.

katyavetr
Автор

Хорошая, подробная лекция. Но, может быть Вы сможете что нибудь добавить по одному моменту.. Как я понимаю, первые реализации Skip Connection были через конкатенацию. Затем появилось утверждение, что сумма тензоров работает, как минимум, не хуже, и сейчас это основная реализация. Но, все мои попытки пройти этот путь приводят к заметной потере качества. Я вводил весовые коэффициенты в эту сумму, даже делал их обучаемыми. Это привело уменьшению потерь, но все равно, уверенно выйти на уровень, который давала конкатенация я не смог (
Возможно, конечно, что все упирается в особенности моих датасетов, или какие то особенности моего ResNet (он не глубокий, около 20 слоев), но может быть у Вас будут какие то мысли по этому поводу. Просто вообще ничего не могу найти на эту тему (

ПавелКуликов-мм