Bias-variance tradeoff в анализе данных и реальной жизни. Максим Николаев, Школа анализа данных

preview_player
Показать описание
Лекция «Bias-variance tradeoff. Почему мы любим спрашивать совета у профессионалов» на Дне открытых дверей Школы анализа данных в Санкт-Петербурге, 22 апреля 2023 года.

Лектор: Максим Николаев, координатор партнерского направления Яндекса «Науки о данных» на факультете МКН СПбГУ, преподаватель статистики и ML.

С переобучением и недообучением модели сталкивается всякий, кто интересуется анализом данных и машинным обучением. В этой лекции мы разберемся, как описать эти явления в терминах смещения и дисперсии предсказания, узнаем, как связаны эти понятия со способностью модели выучивать обучающую выборку, а также увидим, как улучшить качество предсказания, умело ограничивая выразительность модели. Кроме этого мы обсудим, почему мы сами являемся частью модели, которую обучаем, и как контролировать наше переобучение.

Комментарии
Автор

Крутая лекция! Особенно понравилось начальные 45 минут введения в тему, возьму на вооружение для своих лекций. Понятнее, чем как я это студентам объяснял.
Ну и отдельный лайк за hippo:)

dmitrypenzar
Автор

А вот и план лекции:
0:00 Введение
1:08 Задача предсказания
5:36 Качество предсказания
10:22 Условное математическое ожидание
16:10 Пример с большими данными
21:06 Что делать с маленькими данными?
27:58 Зависимость предсказаний от обучающей выборки
32:32 Смещение и дисперсия предсказания
38:03 Bias-variance разложение
39:44 Переобучение и недообучение
45:34 Bias-variance tradeoff
54:18 Регуляризация
59:55 Исследователь — часть модели
1:08:16 Регуляризация исследователя
1:11:35 Почему мы любим спрашивать совета у профессионалов?
1:13:50 Берегись гиппопотама
1:19:47 Забираем домой

huqrprd
Автор

Зря не рассказываете ещё также про режим overparametrization и double descent; и отдельно ещё про эффект grokking

zubrz