filmov
tv
Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
Показать описание
В этой вводной лекции о трансформерах мы рассмотрим базовые понятия, алгоритмы и методы, используемые в современных языковых моделях. Мы начнем с базовых знаний о NLP, поговорим про концепцию векторов и эмбеддингов, их смысле. Затем подробно обсудим ткокенизацию и то, почему она столь важна. Мы разберем архитектуру трансформера, включая FeedForward, SelfAttention, CrossAttetntion, а еще постараемся понять роль позиционного кодирования в моедели и разных регуляризаторов и оптимизаций.
Мы также подробно рассмотрим декодер и маскированный Attention и процедуру обучения таких моделей.
Лекция была прочитана онлайн для сообщества Singularis, и по ходу было сделано 5 пауз для Q&A секиций - вполне возможно, что вопрос, появившийся у вас, будет отвечен в лекции!
Подпишитесь на наш канал, чтобы не пропустить новые видео о машинном обучении и искусственном интеллекте. Не забудьте поставить лайк и поделиться этим видео с друзьями, если оно вам понравилось. Если у вас возникнут вопросы или предложения, оставляйте их в комментариях!
Timeline:
0:00 - 4:10 - Intro
4:10 - 11:41 - NLP 101 (intro for ML Engineers), W2V, Embeddings
11:41 - 15:55 - Tokenization Intuition
15:55 - 23:08 - Tokenization Details and how to build a Vocabulary
23:08 - 28:55 - Why Tokenization matters
28:55 - 36:10 - 1st Q&A
36:10 - 39:58 - Transformer: a 10'000 foot view
39:58 - 45:06 - FeedForward layer
45:06 - 49:19 - 2nd Q&A
49:19 - 1:08:01 - Self-Attention Mechanism in Detail
1:08:01 - 1:14:05 - 3rd Q&A
1:14:05 - 1:20:59 - Multi Head Self-Attention & its Matrix form
1:20:59 - 1:26:55 - Positional Encodings
1:26:55 - 1:32:11 - Transformer Optimizations & Regularizers: LayerNorm, Skip-Connection
1:32:11 - 1:36:31 - 4th Q&A
1:36:31 - 1:43:50 - Decoder & Cross-Attention
1:43:50 - 1:50:30 - Masked Self-Attention & Training Procedure
1:50:30 - 1:53:48 - 5th Q&A
1:53:48 - 2:04:50 - BERT Training: MLM, NSP
2:05:50 - 2:14:19 - Outro: why are Transformers THAT good?
2:14:19 - 2:17:09 - 6th and final Q&A
----
#Трансформеры #Машинноеобучение #Искусственныйинтеллект #NLP #DeepLearning #AI #NeuralNetworks #BERT #AttentionMechanism #NaturalLanguageProcessing #Tokenization #MachineLearningAlgorithms #DataScience #LanguageModels #ML #GPT #OpenAI #MLengineers #WordEmbeddings #PositionalEncoding #LayerNormalization #SkipConnection #CrossAttention #MLM #NSP #chatgpt #attention #attentionisallyouneed
0:36:15
Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!
0:15:01
Illustrated Guide to Transformers Neural Network: A step by step explanation
0:16:33
Transformers Explained - How transformers work
0:06:30
How does a Transformer work - Working Principle electrical engineering
0:05:50
What are Transformers (Machine Learning Model)?
0:26:10
Attention in transformers, visually explained | DL6
0:06:49
Transformer Explainer- Learn About Transformer With Visualization
0:13:05
Transformer Neural Networks - EXPLAINED! (Attention is all you need)
0:19:03
Transformer Architecture || Attention is All You Need || Self-Attention in Transformers
0:58:04
Attention is all you need (Transformer) - Model explanation (including math), Inference and Training
0:05:48
How does a Transformer work ?
0:11:38
Transformer models and BERT model: Overview
1:22:38
CS480/680 Lecture 19: Attention and Transformer Networks
0:05:00
Different parts of a Transformer and its function #transformer
0:44:26
What are Transformer Models and how do they work?
2:17:09
Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
0:05:41
Transformers explained
0:05:13
How distribution transformer works | structure of distribution transformer
0:13:42
Power Transformer - 3D Animation
0:18:08
Transformer Neural Networks Derived from Scratch
0:16:28
Transformer Design and Construction: How it's made? #vigyanrecharge #transformers
0:01:00
Why Transformer over Recurrent Neural Networks
0:16:28
Transformer working in tamil
0:16:51
Vision Transformer Quick Guide - Theory and Code in (almost) 15 min
Комментарии