Как использовать мультимодальные трансформеры в исследованиях? Лекция Александра Николича

Лекция от приглашённого эксперта: «Как использовать мультимодальные трансформеры в исследованиях и не страдать?»
Докладчик: Александр Николич – Senior data sceintist, исследует гигантские мультимодальные трансформеры.

0:00 Вступление
0:48 Начало лекции
1:04 О лекторе
1:16 Коротко о трансформерах
6:48 Мультимодальность
7:10 Сиамские сети
7:48 Contrastive loss
8:30 Да кто такая эта ваша мультимодальность?
9:47 Немного про решаемые задачи
10:23 Visual transformer
14:41 Token based
14:51 Image Gpt
16:34 Vqgan
18:37 DALLE 1
20:59 Rudolph
22:07 Сила и слабость токенов в картинках
23:47 Multi Encoder
24:01 CLIP
30:07 KM BART
31:44 Fusion Brain
33:35 GATO
36:17 DALLE 2
37:28 ImageGen
39:03 Вопросы от слушателей
40:57 Практика

Наши соцсети:

[MSU_AI]

Если у вас возникнут вопросы по теме лекции, можно написать Александру в Telegram)

[elenachernikova]

Перечислите, пожалуйста, какие сейчас мультимодальные нейронные сети новые штук 5

[Studio-dgg]

Как открыли терминал в колабе на 43:55?

[RuminRoman]

Александр Николич глубоко непорядочный человек, глубоко неинтеллигентный, с глубоко отрицательной репутацией, назначил себя негрешимым, которому всё можно. То, что ему собеседник непонятен или кажется неправвым -- это не дает ему право вежливого интеллигентного собеседника затюкивать вместе с толпой и нескольких полу-анонимных аккаунтов пошлейшими грубейшими матами, интеллигентный человек обязан оставаться в рамках вежливого этикета в любом случае, таким образом он обнуляет свою репутацию, точнее делает репутацию глубоко отрицательной, позорной. Он должен принести официальные извинения за такое поведение и выплатить компенсацию пострадавшим. А также должен сказать спасибо пострадавшим за то, что они снизошли и не потребовали компенсацию через суд по статье "честь и достоинство, репутация".
Более того, нанес травму инвалиду аутисту. Аутистов надо поощрять к общению, т.к. они общаются раз в миллион лет, он же наоборот затравливает толпой, неинтеллигентными безобразным образом.

Действовал с ТГ аккаунта "Alexander" с изображением сделанным на основе фотографии его лица и с анонимого фейкового аккаунта "Alexey Novikov" без фотографии. Сначала пошлейший грубейший комментарий в адрес меня и моей мамы, ничем не спровоцированный, он отправил от аккаунта своего помойного по содержимому канала "Love D Transformers". Потом опомнился, удалил и перелогинился на "Alexey Novikov". Это подтвердил Александр Абрамов из Сбера в комментариях под ютьюб видео "Александр Абрамов - RLHF for retrieval based NLP system" на канале ODSAIRU. Сам же Александр Абрамов лайкал эти безобразия и являлся руководителем Карины Романовой, когда она была стажером Сбера, на ТГ канале которой nadlskom это происходило. Летом 2023-го Карина Романова с Александром Николичем вместе закончили РТУ МИРЭА, скорее всего он вместе с ней проходил стажировку в Сбере у Александра Абрамова.
----
Почему аккаунты Александра Абрамова называются "dealer"? Не торгует ли он персональными данными клиентов Сбера? А то после того как моя мама написала про это происшествие в приложении Сбера, непосредственно после этого, ей позвонили мошенники, представились сотрудниками Сбера и пытались выманить у неё деньги по одной из схем. Совпало или он злоупотребил доступом к инфраструктуре Сбера и слил её данные?
Или это означает, что он продает н? Александр Николич тоже намекал на н и его помойный канал тоже про это пишет. Тут приходит на ум н CEO FTX, укравший миллиарды у клиентов.