Junior ML-инженер | Собеседование | karpov.courses

Учитесь ML с нами:

Героем нового интервью на позицию Junior ML инженера стал Вадим — выпускник Start ML и участника Симулятора ML.

0:00 Введение и знакомство
2:55 Uplift-моделирование
5:50 Модель оттока
08:06 Метрики для дисбаланса классов
11:32 Расчёт доверительного интервала площади под PR кривой
12:35 Принцип работы бутстрапа
15:26 Обратная связь по бутстрапу
16:52 Оценка метрики, если нет возможности брать выборки, но есть обученные модели и их оценки
19:00 Схемы кросс-валидации
20:55 Влияние смещения и разброса на качество модели
22:43 Основные компоненты A/B теста
25:42 P-value и гипотезы
27:27 Необходимое количество данных
29:31 Проведение симуляций
32:40 Градиентный бустинг
35:00 Что произойдёт, если убрать первое дерево в градиентном бустинге
36:45 Различия в построении деревьев
40:10 Оценка предсказаний регрессионной модели
43:48 Deploy ML-сервисов
47:20 Web-фреймворки
48:13 Фиксация версии библиотек
50:00 За какими метриками можно следить после deploy
51:33 Как быть, если модель не посчитала предсказание, а ответ нужен быстро
53:12 Моделирование прогноза спроса
55:36 Практика
1:06:15 Обратная связь

[ds_sss_rank]

Скоро Джуны должны будут уметь по воде ходить и воду в вино превращать

[fcz]

мужик такой хороший, дай Бог ему чтоб получилось все

[obricto]

1. Всё правильно сказал Вадим про расставление приоритетов при обучении, режим и пр. Только так можно продуктивных результатов без стресса добиться.
2. да, всегда есть недоработки, но дорогу осилит идущий.
3. В целом, прояснились моменты проведения интервью. Благодарю всю вашу команду за работу!!!!

[assilsigma]

Вадим молодец. Интервью интересное. Смело лайкаем👍 Таймкоды:
0:00 - Вступление
0:40 - Вадим, расскажи о себе
3:04 - Uplift-моделирование в резюме
3:46 - Расскажи про uplift-моделирование
5:09 - К какой задаче ml мы можем свести uplift?
5:17 - Что если на выходе не купит/не купит, а сколько денег получим
5:51 - Маркетолог пришёл, сказал построить модель оттока. Твои действия.
6:40 - Как соотносятся задача uplift-моделирования и прогноза оттока?
7:35 - У нас есть вероятности ухода пользователей. Как обработать данные, чтобы сделать по ним выводы?
8:07 - Метрики для дисбаланса классов
8:34 - За что отвечает каждая из этих метрик? Какая между ними закономерность?
11:34 - Площадь под PR-кривой: как мы можем быть уверены, что в следующем месяце она останется приемлемой?
12:36 - Как работает бутстрап? Как настроить доверительный интервал?
15:30 - Обратная связь по бутстрапу
16:54 - Одна модель обучена 5 раз на 5 фолдах. Как оценить метрику?
19:01 - Схемы кроссвалидации
20:07 - У нас нет временной зависимости, k-fold. Мы решаем, на сколько фолдов бить. Как принимать решение?
20:55 - Мы сравниваем модели. Как по-другому называется точность оценки? А какое ещё есть свойство?
21:16 - Мы замеряем финальное качество модели. Нас интересует схема валидации с меньшим смещением или с большим разбросом?
21:47 - А если модели похожи?
22:45 - Из каких компонентов состоит А/Б тест?
23:47 - Что такое ошибка первого рода?
24:25 - Ошибки первого и второго рода применительно к группам А и Б
25:43 - р-value, нулевая гипотеза
27:29 - Как мы в А/Б тестах считаем, сколько данных нам нужно и какую разницу тестить
29:31 - Как проводить симуляции? Как понять, что все готово к А/Б тесту?
31:02 - Как будет выглядеть распределение p-value?
31:23 - Что такое мощность?
31:29 - Симуляция А/Б теста - ответ
32:18 - Какое распределение p-value в этот раз?
32:37 - Градиентный бустинг
35:11 - Что будет, если мы уберём первое дерево в градиентном бустинге после обучения всех деревьев?
36:48 - catboost, xgboost, lightgbm - в чем отличия построения одного дерева?
40:08 - Мы обручили модель (градиентный бустинг, регрессия). Она дала предсказание на данных. Как оценить уверенность модели в нем?
43:47 - Как происходит deploy модели?
44:54 - Стажёр обучил модель в jupyter-notebook. Как заставить ее приносить нам деньги?
47:20 - Какие web-фреймворки есть на python?
48:17 - Как фиксируются версии библиотек? Зачем это надо?
49:30 - Обратная связь по деплою
50:02 - Мы задеплоили модель. За какими техническими метриками будем следить?
51:03 - Что если нет требований к real-time ответу? Нужно ли следить за временем ответа?
51:38 - У нас real-time сервис, а модель не выдала результат. Что мы можем заготовить взамен?
53:15 - Прогроз временного ряда. С каких моделей начать?
55:36 - Кодинг-секция. Fizzbuzz задача.
1:05:57 - Обратная связь по интервью
1:10:41 - Что ты узнал для себя?

[eijdpws]

Так много интересных и умных людей в ваших собесах это очень здорово.
Те кто решился на такое крутое изменение в жизни просто молодцы!

[shapovalentine]

Спасибо, очень ценно✊ 
Пойду смотреть ваш симулятор)

[petyap]

Отличные вопросы. Широко по темам. Интервьюируемый хорошо показал себе.

[hgqbktu]

Шикарное видео! Огромное спасибо! про МЛ очень хорошо поговорили, но видно что можно и еще больше обсудить.
Про кодинг бы побольше надо, конечно, а то одна задачка всего изевая, хочется больше реальных кейсов собезных задач посмотреть, может вообще интервью сделать в 2 этапа? Пойду записываться в ML-симулятор, всем любви!

[BoQbLk]

Капец столько вопросов, на аналитика дай бог 5 вопросов когда Карпов вью брал))

[yuriye]

Итак. Посмотрел, понравилось, кандидат выступил хорошо. Я сам, как человек, прошедший только курс по Data Sciece от Ян...кс Практикума и без опыта в IT скажу, что программа у Старт МЛ выглядит поинтереснее, правда не знаю, что там под капотом. В яп много практики, но теория так себе, порой совсем печаль, нет разделов по бэкенду и деплою, чисто дс, скл, нлп, кз, статистика вскольз. Если бы я обратил на курс старт мл внимание раньше, наверное пошел бы туда.

По мере выступления Вадима сам старался отвечать, многое понимаю, но не смог объяснить как положено. Сам днем работаю, вечером учусь на остатке сил и понимаю Вадима, была бы возможность, бросил бы работу и готовился бы с поиску новой.

Спасибо за отличное интервью. Надеюсь, Вадим получил заветный оффер)

[sdgzvru]

Ждал, когда Богдан уже просто скажет "вот тебе ручка, продай мне ее"

[artemtitov]

В туфляяяях с пакеееетом… отличное видео ! Но конечно кодинг секцию посильнее хотелось бы видеть )

[hrnk]

На ML инженера секция кодинга из одной мемной задачи уровня "а вы точно знаете, как работает if"?) До этого момента все годно было, но без какой-либо проверки навыков программирования из интервью можно убрать "-инженер" в названии позиции.

[letun]

Такое ощущение, что вопросы задаются согласно контексту ваших курсов и вашего симулятора.

[Yakata]

Привет, подскажите будет ли подобное по Junior Data Engineer?

[pavelsavoskin]

Все же в этом собеседовании масса вопросов из маркетинга, которые к инженеру ml отношения не имеют. Зачем ему обьяснять про отток клиентов? Еща из data science масса вопросов. Понятно что проффесия на стыке всего этого, но желательно разделять дата саентиста и мл инженера.

[alexshumilov]

Вообще не совсем понятно почему собес называется Junior, ибо вопросы многие совсем не джуновские. Джун по определению человек либо без опыта, либо с минимальным опытом, а вы его тут спрашиваете про деплой сервисов и веб фреймворки. Кажется что правильнее джуна по основам погонять, математику поспрашивать, на самом деле даже по одной Линейной регрессии можно достаточно погонять, чтобы понять готов человек или нет. Хорошо что хотя бы про LLMки и прочие нейроннки не спрашивали)

[hopelesssuprem]

Кроме бустинга, регресси и оценки моделей вопросов для ml-инженера не было. Зачем мне знать про a/b тесты? Это довольно специфичная штука, которая далеко не везде внедрена правильно и она нужна аналитикам в первую очередь. Холесь бы видеть следующие вопросы на собесе:
реализация CART с нуля и тут же разница межу inf gain и gini, регуляризации, аугментация и синтез данных, adam, relu, back propagation. По питону вопросы по ооп, асинхронке, тестам. По sql про индексы и оптимизацию запросов, и че-нить по hadoop.

[korzhik]

Честно говоря довольно бесполезное видео.

[Beowulf]

"Пишешь код не бегло"... wat