Лекция 2.4: Градиентный спуск.

Занятие ведёт Григорий Лелейтнер.

Ссылки на все части:

---

Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.

За нашими новостями можно следить здесь:

ФПМИ МФТИ

[gothluv]

объяснил суть производной и для чего она лучше чем учителя в школе и преподы в универе

[fanisbaygildin]

Как мы умудряемся на каждом шаге оказаться на функции, если мы двигаемся в сторону антиградиента, который всегда указывает на точку вне функции? Движение в сторону антиградиента - это движение в любую сторону в пределах 180 градусов или все таки строго в направлении вектора? Пытаюсь найти ответ на это, но что то не гуглится. Заранее спасибо за ответ!

[iskdyeh]

11:20 Почему внутри суммы (сигма большая) не ставите скобки? Ведь вычитаемое входит в сумму и суммируется по i. А у вас оно отпадает от суммы.

[datascience]

Не могу понять вычисление шага (5:19). В чем математически смысл изменения переменной функции именно на величину производной при такой переменной умноженной на learning rate? Почему надо делать именно такое изменение? Понятно, что это сдвигает переменную x в нужную сторону, постепенно уменьшая или увеличивая его, но почему именно так, в чем его смысл? Это как из расстояния вычесть скорость. Правильно ли я понимаю, что learning rate можно рассматривать как время?

[anton]

Здравствуйте, откуда на
11:40
взялось x_ij?

[cicik]

вроде бы логистическую регрессию считают от софтмакса и там получится просто разность