Прикладное машинное обучение 4. Self-Attention. Transformer overview

Показать описание

Лектор: Радослав Нейчев

Монтировал: Роман Климовицкий

Лекторий ФПМИ

Рекомендации по теме

Комментарии

Лучшее объяснение трансформеров которое я когда либо видел - четко внятно и все по делу. Автор большой молодец!!

wadwad

Удивительный преподаватель - целый час держал вейп и ни разу не покурил

TheFuckel

Отличная лекция! Много дополнительных объяснений о неинтуитивных моментах, которых не увидишь в статьях. И правильная визуализация positional embeddings, которую почему-то часто изображают отдельно для четных и нечетных позиций, что вводит в заблуждение. Преподаю сам. Спасибо!

sharepix

Каждый раз слышу, будто Радослав хочет парализовать вычисления )

ISandrucho

Очень хорошо объясняет, спасибо большое

dmmd

лекция топовая, Радослав очень круто объясняет - благодарю!

cruimxu

Мне кажется, звук какой-то зашумленный, его качество хуже, чем обычно (

endless-miracle

ухты! трансформеры - это красиво 😄 хорошая статья

sljqopl

Спасибо за видео. Остался вопрос, как все эти вектора тренируются, особенно в энкодере, если у него выход завязан сразу на много декодеров и ошибку надо считать для каждого из них.

drVatman

можете подсказать в каком видео про batch normalization говорится? искал, не нашел к сожалению

IlnurFaizrakhmanov

годнота, жаль вы на ФКНе не преподаете

kol-di

Не могу найти материалы данной лекции и семенара на github. Может кто-нибудь подскажет, где искать?

ferb

Добрый день, ссылка неактуальна(
Есть ли актуальная ссылка ?

andreyreznikov

Перевожу с гиковского: "dot product" - "скалярное произведение", "bottleneck" - "узкое место/бутылочное горлышко", "attention score" - "уровни/рейтинги внимания"

IExSet

Разве можно задать вопрос если практически ничего непонятно. Для того чтобы понять взаимосвязь слов в этом видео наверное надо быть самим трансформерам. Половина слов на английском, половина логических цепей скачут, упуская смысл. В общем яркий пример самообучения... Но я всё равно лайк поставлю Просто потому что Тема Очень актуальная. Хотелось бы узнать поподробнее. Чтобы кто-то рассказал более разжеванно на конкретных примерах. Где эти технологии уже применяются? Где непосредственно обыватели могут их использовать? Вот я сейчас надиктую эти слова, Можно ли задействовать здесь трансформер и почему до сих пор так много ошибок? Почему не комбинирует разные методики для улучшения распознания речи. Например чтение по губам плюс анализ произнесенного. Уже молчу О всём остальном. Где перевод на лету англоязычных видео на Ютюбе? Где нормальные синтезаторы речи? Искусственный интеллект это наше будущее это наше всё. Почему мы до сих пор топчемся на месте и никто не может реализовать массу идей которые уже от счастья реализованный но разрозненны? Когда появится язык программирования нового поколения, в виде голосовых помощников которые составляют программы непосредственно из сказанного делают то что их просят?
Где в конце концов таргетированный доход о котором я написал целую статью. Люди боятся Что за ними следят в сети, но я очень сожалею что за мной следят недостаточно. У меня, Как возможно и у других, масса полезных идей которые могли бы принести миллионы и могли бы быть полезны и всему обществу, Но кто их заметит? Люди до сих пор остаются в рабстве. Огромные и людской потенциал не используется. Искусственный интеллект мог бы проводить профориентацию и автоматически Как зарабатывать самостоятельно так и давать зарабатывать другим, по принципу игры с ненулевой суммой. Но мне некогда про это рассказывать, потому что повторюсь нахожусь в социальном рабстве.

romanbolgar

Нихрена не понятно. Формулы (типа R^...) - вообще ни к чему не привязаны!

ozlmkyx

А есть какая то гарантия, что остальные аттеншен хеды найдут разные смыслы? Я представляю ситуацию, что мы сделали 8 голов и все они в итоге сошлись и на выходе дали примерно одинаковый аутпут

TheFuckel

Прикладное машинное обучение 4. Self-Attention. Transformer overview

Прикладное машинное обучение 4. Self-Attention. Transformer overview

Прикладное машинное обучение 4. Self Attention. Transformer.

Прикладное машинное обучение. Семинар 4. Positional encoding и Transformer....

Лекция. Внимание (Attention)

ml-mipt advanced Лекция 04: Self - Attention & Transformer overview | Осень 2021

Лекция. Трансформеры. Self-Attention

Прикладное машинное обучение. Семинар 4. PoS tagging

Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)

An Effective Video Transformer With Synchronized Spatiotemporal and Spatial Self Attention (SSTSA)

Прикладное машинное обучение. Семинар 3. Attention и Neural Machine Translation....

Занятие 5. Лекция. Attention, transformers! Переломный момент в истории NLP...

Прикладное машинное обучение 3. Machine translation

Прикладное машинное обучение 5. Современные методы NLP.

Прикладное машинное обучение. Семинар 11. RL for seq2seq.

Прикладные модели машинного обучения. Лекция 4.

Прикладное машинное обучение 3. Machine Translation.

Прикладное машинное обучение 0. Course syllabus

1. Семинар: Seq2Seq & Attention (27.03.2020)

Self-attention in deep learning (transformers) - Part 1

Прикладное машинное обучение. Семинар 3. Seq2seq practice

Семинар. Attention и Трансформеры

Трансформер в NLP - теория и практика

Прикладное машинное обучение. Семинар 1. Fun with Embeddings

Имплементация Трансформера from scratch (на PyTorch)