Прикладное машинное обучение 4. Self Attention. Transformer.

preview_player
Показать описание
Лекция от 27.09.2019
Лектор: Радослав Нейчев

0:00:07 Тест по предыдущей лекции
0:07:20 Напоминание про Attention
0:12:48 Архитектура Transformer'а
0:17:56 Self-Attention
0:40:28 Positional encoding
1:00:30 Layer Normalization

Снимал: Михаил Кревский
Монтировал: Артём Сапожников
  1. Лекторий ФПМИ
Рекомендации по теме
Прикладное машинное обучение 1:04:39

Прикладное машинное обучение 4. Self-Attention. Transformer overview

Прикладное машинное обучение 1:09:04

Прикладное машинное обучение 4. Self Attention. Transformer.

Прикладное машинное обучение. 1:15:21

Прикладное машинное обучение. Семинар 4. PoS tagging

Прикладное машинное обучение. 0:40:06

Прикладное машинное обучение. Семинар 4. Positional encoding и Transformer....

Прикладное машинное обучение 0:55:21

Прикладное машинное обучение 2. CNN for texts. Embeddings for different languages...

Прикладное машинное обучение. 1:48:57

Прикладное машинное обучение. Семинар 11. RL outside the games. Self-critical sequence training...

Прикладные модели машинного 1:42:58

Прикладные модели машинного обучения. Лекция 4.

Прикладное машинное обучение 1:14:38

Прикладное машинное обучение 3. Machine Translation.

Прикладное машинное обучение 1:59:28

Прикладное машинное обучение 5. Современные методы NLP.

Прикладное машинное обучение 0:11:36

Прикладное машинное обучение 0. Course syllabus

Прикладное машинное обучение. 0:59:13

Прикладное машинное обучение. Семинар 11. RL for seq2seq.

Прикладное машинное обучение. 1:16:31

Прикладное машинное обучение. Семинар 2. CNN for texts

ml-mipt advanced Лекция 1:27:25

ml-mipt advanced Лекция 04: Self - Attention & Transformer overview | Осень 2021

Урок 4. Метрики 0:05:45

Урок 4. Метрики в машинном обучении

Прикладное машинное обучение 0:54:31

Прикладное машинное обучение 3. Machine translation

Прикладное машинное обучение. 0:25:43

Прикладное машинное обучение. Семинар 1. Fun with Embeddings

Прикладное машинное обучение. 1:23:30

Прикладное машинное обучение. Семинар 3. Attention и Neural Machine Translation....

Прикладное машинное обучение 0:43:34

Прикладное машинное обучение 1. Embeddings

Прикладное машинное обучение. 1:07:21

Прикладное машинное обучение. Семинар 8. Q-learning.

Прикладное машинное обучение. 0:28:41

Прикладное машинное обучение. Семинар 5. BERT.

Прикладное машинное обучение. 1:29:44

Прикладное машинное обучение. Семинар 5. BERT for text classification...

Прикладное машинное обучение. 1:04:49

Прикладное машинное обучение. Семинар 3. Seq2seq practice

Прикладное машинное обучение. 0:45:15

Прикладное машинное обучение. Семинар 6. Question Answering & Text to Speech demo...

Прикладное машинное обучение. 1:11:33

Прикладное машинное обучение. Семинар 12. Object detection.

Комментарии
Автор

0:00:07 Тест по предыдущей лекции
0:07:20 Напоминание про Attention
0:12:48 Архитектура Transformer'а
0:17:56 Self-Attention
0:40:28 Positional encoding
1:00:30 Layer Normalization

lectory_fpmi
Автор

Ноутбук отличный и хорошо показывает практику, но теория что из лекции, что из семинара вообще не зашла.
идеальное по моему описание процесса.

rnj
Автор

А оригинальную статью про Positional Encoding кто-нибудь нашел? Формулу я нашел эту только в Attention is all you need.

rnj