Лекция 8. Линейная регрессия

Линейный регрессионный анализ. Модель, интерпретация оценок коэффициентов, множественный коэффициент детерминации. Интерпретация множественного коэффициента детерминации, ограничения на область его применения. Выявление наиболее значимых предикторов и оценка вклада каждого предиктора. Алгоритмы корректировки построенных моделей. Коллинеарность.
Лекция №8 в курсе "Анализ данных на Python в примерах и задачах. Часть 1" (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

[romansh]

Хочется поблагодарить лектора за баланс между "научностью" и простотой объяснения. Я до этого видео пробовал читать что такое регрессия на википедии, но у меня закипели мозги ещё на первом абзаце где определение даётся через кучу неизвестных мне терминов.
Здесь же я за 10 минут понял что регрессия это метод когда мы берём исторические данные, находим функцию которая наилучшим образом в них "попадает" и при необходимости спрогнозировать значение для новых исходных данных (аргументов/предикторов) мы просто подставляем их в нашу функцию, а полученное значение и будет прогнозом.

[noname-duw]

Огромное спасибо лектору! Особенно за то, что смещает фокус с математических нюансов на аналитические тонкости.

[ОлегДоходицифровыефинансы]

КРутой лектор! Спасибо за лекции и звук отличный.

[vam]

Очень не хватало такого канала, посмотреть лекцию иногда в тысячу раз удобнее, чем допытываться до истины самому. Отличный лектор! Особенно при просмотре на скорости 2х

[АнастасияНикифорова-лщ]

Спасибо огромное! Замечательный лектор!

[srosy.]

Если говорят, что плохо знаете математику и экономику, то просто идите в стендап, вам там этого точно не скажут и даже без знаний этих областей очень интересно слушать

[СергейКрюков-ск]

Добрый день, а не подскажите где можно найти тот самый архив с ноутбуками?) Спасибо Вам, за труд

[Supreme_Mind]

А как правильно интерпретировать тот факт, что в линейной регрессии мы после отброса "лишних" предикторов получили коэф-т детерминации хуже первоначального (стало 0.73 - 0.8 было)? Выходит, что наша модель стала предсказывать хуже?

[coolbrain]

Логарифм AGE типа нормальный даже. Почему мы его удалили? Могли же деревом восстановить из остальных значений и использовать в регрессии

[AlisaMusicFM]

Максимальное значение R² равно 1, но минимальное может быть минус бесконечность.

[ДмитрийЖ-пж]

в полиноминальную регрессию бы графиков добавить для наглядности

[VistaSVSFE]

Коллеги подскажите, пожалуйста! В 14 ячейке выражение:
# Вычисляем регрессионные коэффициенты
coef = + X.columns.tolist(), [model.intercept_] +
columns=['predictor', 'coef'])
Что написано после второго знака +

[pavelbrudanov]

У меня тут задачу поставили.
Понятно объяснить результаты регрессии.
Я посчитал коэффициент В, а вот значимость не совсем понимаю как правильно:
У меня набор независимых переменных принимающих значения 1/0 но модель такая, что значение равное 1 принимает только 1 переменная одновременно.
Как я понял, значимость считается согласно критерию t-Стьюдента, либо с помощью критерия Фишера?
То есть мне надо распределение по каждой из переменных прогнать через t критерий где х1 - те значения зависимой переменной, в которых независимая переменная принимает значение равное 1, а х2 - все остальные.
Или можно разделить на две группы - мои предикторы которые я учитываю в анализе и говорю, что они значимо предсказывают значение зависимой переменной и все остальные, у которых как мне кажется слишком большой разброс коэффициентов В? При этом те, что я выделил предсказывают по разному :)
Одна из переменных даёт -1, другая -25.

[Dmitrykholodov]

Добрый день! Подскажите пожалуйста, ВАдим Леонидович в прогнозировании временных рядов есть такая запись for x in xrange(1, 13):
df['season_' + str(x)] = df['date'].dt.month == x. В phyton 3 она не работает, если менять xrange на range тоже не выходит.

[yoyomaster]

Доброго времени суток, нельзя ли метрики для кластерного анализа отбирать представленным в лекции способом? 1. Проверка на коллинеарность; 2 Регрессия; 3 Отбор через проверку гипотезы о равенстве 0 коэффициента. Спасибо!

[ОлегДоходицифровыефинансы]

А что можете посоветовать для feature selection with categorical variables?

[leshamokhov]

R^2 может быть отрицательным, если модель описывает набор точек "хуже", чем функция y = y.mean()

[gsm]

-Не люблю линейную регрессию. -Ты просто не умеешь ее готовить.)

[Alex-hhoe]

А где можно взять dataset для этого урока?
Заранее спасибо.

[ОлегДоходицифровыефинансы]

Неужели p-значения до сих пор не появились в scipy? 51:27:00