014. Нейронные сети — К.В. Воронцов

Курс "Машинное обучение" является одним из основных курсов Школы, поэтому он является обязательным для всех студентов ШАД.

Лектор: Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО "Форексис". Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры "Математические методы прогнозирования" ВМиК МГУ. Эксперт компании "Яндекс". Доктор физико-математических наук.

[qwuketq]

На 1:00:00 рассказывает про эвристику второго порядка. Типа считаем матрицу Гессиана диагональной и вперёд. В своё время я замучился, но смог для общего случая посчитать её примерно за O(3N). И чё я вам скажу, в реальности она на столько не диагональная, что вообще ни разу. Недиагональные элементы имеют в среднем такие же размеры, что и диагональные. И игнорирование всех недиагональных элементов легко приводит вас к результату, который не только может отличаться на порядки, но даже и иметь другой знак. Так что не удивительно, что такой метод не является общепринятым и плохо работает. На самом деле гораздо более удивительно, что он вообще хоть как-то работает.

[ssbmidc]

скажите пожалуйста, весовые коэффициенты нужно задавать для каждого слоя разные, или для всех слоев должны быть одинаковыми?

[ar]

на слайде 5 8:42 странная нотация бинарных переменных, точнее, их индексов. почему индексы не справа внизу? разве не принято писать справа вверху только степени? или, если уж имеются в виду индексы, взяли бы их чтоли в скобки. непривычно и сбивает с толку.

это довольно важный слайд и по-моему для тех, кто его первый раз видит, будет непонятно, что вообще происходит, как делится плоскость. также было бы неплохо сказать что константа это биас, который смещает порог активации.

[ouyynyn]

А, ээ, вот это и вот аа, ну и э, а, ну мы об этом уже говорили, мм, ц, э позиции..

[iLuciane]

Что значит решение очень широкого класса задач (последний слайд), можно пример таких задач?

[ouyynyn]

Какой же скучный голос и манера речи. Миша, не мучай людей, тебя нереально внимательно слушать. На работе включил, думал усну - вспомнил молодость.

[bfzemsu]

)) квази уно фантазия, ну это и так всем понятно.

[jenyat]

Кто-нибудь видит в этом Солярис, так же как и я?

[obrhggm]

Вроде по-русски говорит, а я ничего не понимаю...

[RagazzoKZ]

Бляха-муха, как же непонятно.... Бесит!