Что такое градиентный бустинг? | Григорий Будорагин | karpov.courses

Учитесь ML с нами:

Градиентный бустинг — ключевой алгоритм машинного обучения для табличных данных. Его используют в поиске, подборе цен и в противодействия мошенничеству.

Сегодня вместе с аналитиком-разработчиком Яндекса, Григорием Будорагиным, мы разберёмся, как алгоритм обучается на данных и прогнозирует числовые величины на примере цен домов.

[NiksFok]

Я не очень понял почему 230 футов меньше 200.

[zjyxxyb]

Рисовка класс, формат понравился, в идеале делать ролики такого же формата, но с более глубоким погружением в ML (ну это так, хотелка), спасибо авторам!

[spyphyfarnsworth]

про ГРАДИЕНТНЫЙ бустинг вообще ни слова

[angryworm]

Эммм…
1-е: насколько я помню дерево регрессии на обучении все таки формально не MSE на расщеплении считает, а дисперсию 🫤✌🏻 … и соответственно старается минимизировать суммарную дисперсию расщепления. Хотя с точки зрения формул все одинаково.
2-е. На N+1 шаге прогнозируется НЕ величина ошибки на N шаге, а значение градиента функции ошибки при имеющемся значении на N шаге. Ибо именно градиентом потом делается Sn+1 = Sn - @ * grad

[unknownhero]

От чего происходит название градиентный бустинг и как оно связанно с деревьями?

[dbthemv]

У меня вопрос теоретического плана: я ем капусту, сосед ест мясо, в среднем, мы едим голубцы. Почему алгоритмы машинного обучения используют среднее значение, а не медиану?

[kuban_]

«Алгоритм обучает прогнозировать ошибку предыдущего дерева», а как? Тема в видео не раскрыта!!!

[valeriym.]

Цена дома в 230 кв.футов должна быть $200k

[hopelesssuprem]

У меня вопрос: преподаватели на курсах умеют реализовывать с нуля такие алгоритмы без sklearn? Я это к чему...перед бустингом надо было бы рассказать про ансамбли и случайные леса, и роль бутстрапа в этом, потом про дерево классификации и регрессии CART, про бинарное дерево, работающее через рекурсию, потом про то, что в случае классификации наилучший вопрос берется по gini index, а в регрессии по mse, а потом это все забилдить с нуля. Только тогда у студентов будет полное понимание бустингов. Советую всем проделать эти шаги с нуля и полностью всё изучить т.к. бустинг - это серебряная пуля в мире ML. Но за видос спасибо, задумка харошая, жаль что раскрыта не до конца.

[ilyaisko]

Кажется еще MSE должен быть в 10^6 раз больше

[enfdutq]

Наконец то понятно и доходчиво. Спасибо!

[waitwhat]

И все же я не понял, как он выбрал задать первый вопрос к площади дома, а не количестве спален, допустим

[uqulyhy]

Формула MSE не правильная.
Сказано, что это предсказание - среднее, но на самом деле это предсказание - истинное

[matthewgiovannini]

У меня вопрос...
Почему он вместо MSE считает дисперсию? Он точно знает что такое MSE?

[dangerenok]

Что то я не понял. В итоге придем к дереву которое должно давать среднее значение цены. И зачем такое дерево? Я наверно что то не понял

[loqndlp]

Ни слова про сам градиентный бустинг. Опять воспитывают жертв онлайн курсов, которые не понимают, как работает алгоритм и как им управлять. Сколько уже собеседовал подобных жертв - всегда одно и то же: в голове только шаблонные фразы без понимания, что за ними стоит. Чуть-чуть глубже начнешь копать и понимаешь, что в голове то каша...

[kqhqdlw]

Не совсем понятно про бустинг. Про деревья ещё более менее понял, но я не ради этого сюда зашёл на видео.
Тема градиентного бустинга не раскрыта полностью.
Был такой физик Фейнманн, его называли великим объяснятелем: он мог объяснить суть Вселенной даже ребёнку.
Вам нужно стремиться к нему же: расскажите про бустинг на бананах и яблоках — слава придёт к вам семимильными шагами!
Пока что ставлю диз. Тема не раскрыта.