Механизмы внимания. Лекция 7 по Modern Deep Learning (2023).

Подпишитесь на телеграм-канал со анонсами стримов:

Плейлист курса "Modern Deep Learning" (2023):

[sergejskorohodov]

Евгений, ещё раз спасибо за то, что ты делаешь!!! Уверен твои знания в хороших головах дадут очень качественные идеи. Очень грустно видеть твои опасения за будущее. И в тоже время понятны эти мысли. И понятно, что в жизни придётся много поменять в связи с появлением данного явления. И понятно твоё опасение за других людей. Но что произошло то? У нас появилась потрясающая технология, открывающая абсолютно новые просторы!!! Понятно что сейчас должна в корне измениться система образования. Но ведь с новым инструментом она должна стать в разы эффективнее. Так давай думать в этом направлении. При такой технологии впору задуматься создавать индивидуального учителя для человека, который будет его сопровождать по жизни с детства и помогать развиваться не в сторону дивана с телевизором, а в сторону собственного развития. Представляешь такой мегопонимающий учитель психолог, который будет заниматься развитием человека. Это просто первое что пришло в голову. А сколько возможностей по развитию всех, абсолютно всех наук?! Представляешь иметь такого ассистента!! Да это же мечта!!! Боязнь быть оторванным от данного источника понятна. Но история человечества показывает, что такого джина обратно в тюбик не запихнёшь. Человечество очень изобретательно в вопросах обхождения ограничений. Альтернативные проекты начнут развиваться как грибы после дождя. Именно то, что увеличение количества обучаемых параметров в данной архитектуре приводит к взрывному росту эффективности сети стало откровением для всех. И теперь это уже не удержать. Сейчас максимальное количество технологий будет направлено для применения этого открытия, что в своё время приведёт к доступности для всех. Вот ты сказал, что при появлении ткацких станков пострадали чернорабочие, а сейчас пострадают высокообразованные люди. Я бы не боялся за этих людей. Их образ мышления уже подрузомевает освоение новых технологий, Скоро пройдёт первый шок из-за резких изменений, но потом станет понятно что мы живём в потрясающее время и являемся его непосредственными участниками. Я призываю тебя не боятся изменений! Ты потрясающий преподаватель, ты способен понятно объяснять сложные вещи, у тебя заразительная улыбка и интересный юмор. Ты классный специалист и исследователь и я уверен, что ты точно найдёшь себя в этой новой реальности. Мы все тебе благодарны за твою работу. Предлагаю в данной ситуации, как впрочем и в остальных жизненных ситуациях испытывать азарт охотника, а не отчаяннее добычи. P.S заранее извиняюсь за мой русский, по жизни мало приходится его использовать.

[bitby]

Евгений, большое спасибо за лекцию, поражает ваш профессиональный подход. Прошу вашей помощи! Концепция выражения «похожести» через скалярное произведение стара как мир, но я до сих пор не понимаю, почему это работает. Ведь в действительности для сравнения векторов нам необходимо, чтобы они имели единичную норму, иначе результат очень сильно зависит от нормы вектора q. Что скажете по этому поводу?

[angryworm]

1:17:18 неочевидный переход. Было бы неплохо расписать чуть подробнее как получается сумма произведений дельт и вектора V

[kiryllshynharow]

1:11:40 Евгений, вероятно Вы несколько сгущаете краски

безусловно, многим исследователям придётся выйти из зоны комфорта, ведь многие вещи устареют едва зародившись, но ведь и новые перспективы открываются просто колоссальные

что Вы думаете, например, про технику "knowledge distillation"? Разве потенцильно она не открывает новые возможности для маленьких команд (цену вопроса оставим в стороне) и приложений в ранее недоступных областях?

если речь идёт про "интеллектуальную автоматизацию" автономных роботов со всяким там RL то там кажется ещё "конь не валялся" для исследователей и инженеров, тут и скорость обработки и энергопотребление критичны, технологии наподобие GPT-4 могут помочь но не являются серебряной пулей

ведь и программирование с появлением языков высокого уровня сильно изменилось, это давно уже не удел научных сотрудников математических институтов...

"времена нынче уже не те, молодёжь больше не уважает стариков и каждый хочет писать книги" - с появлением папируса и бумаги тоже ведь произошла революция обесценившая прерогативу жрецов на мудрость, тайные знания и письменность

последствия ChatGPT и Ко обещают быть радикальными но скорее всего людям просто придётся приспосабливаться

[angryworm]

Кажется, что объяснение связи м/у увеличением гиперпараметра m и дисперсией не очень удачное. Насколько я понял, m это число компонент векторов q и k, а увеличение дисперсии объясняется не с точки зрения увеличения числа компонент, а с точки зрения увеличения значения одной из компонент при неизменном m. Возможно я что-то не так понял, поправьте 🧐