Самая ПОЛНАЯ и ПОНЯТНАЯ лекция по A/B тестам (метрики, гипотезы, статистика и инструменты)

preview_player
Показать описание
Скидка 25 000 рублей по промокоду NOUKASH25
Реклама. Erid: 2SDnjcXCLyp

Это видео - одна большая шпаргалка по а/б тестированию для аналитиков, продукт-менеджеров и всех остальных, кто занимается развитием айти-продуктов. Мы подробно поговорим о том, как выбрать метрики для ab теста, как составить продуктовые гипотезы, что такое p-value и доверительные интервалы, как делать выводы на основе результатов a/b теста, какие инструменты для этого нужны и какие проблемы могут возникнуть по ходу (и как их решить).

Ссылки из видео:

В этом видео:
00:00 - О чем будем говорить
01:15 - Когда ab тест делать не нужно
02:36 - Зачем нужны аб тесты?
04:45 - Как выбрать продуктовые метрики
08:18 - 3 вида метрик
09:48 - Разбираем на примере Netflix
13:29 - Почему нельзя померить все метрики?
14:19 - Центральная предельная теорема
16:53 - Продуктовые гипотезы, нулевая гипотеза
17:57 - Определяем размер выборки
24:42 - Как делить пользователей на группы
27:18 - Самое важное правило A/B тестов
30:47 - Рассчитываем P-value
33:00 - Рассчитываем доверительные интервалы
35:37 - Какие проблемы возникнут и как их решать
38:21 - Делаем выводы и принимаем решение
43:30 - Инструменты для a/b тестирования

_____________________
Меня зовут Андрей - я работаю продуктовым аналитиком в немецком IT-стартапе и на этом канале (Noukash) я рассказываю про карьеру в IT и продуктовую аналитику. Будут разборы профессий, советы по обучению, истории и многое другое. Подписывайся и оставляй комментарии)

*Meta признана экстремистской организацией и запрещена на территории России...
Рекомендации по теме
Комментарии
Автор

Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!

qsczkei
Автор

Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое

wugdumd
Автор

Крутая тема, спасибо. Еще не прсмотрел, но начало нравится

techbent
Автор

О, круто. А то я написал в резюме, что уже не только исполнял, но и дизайнил это.😂

iestwgg
Автор

Лайк сразу за тему, посмотрю чуть позже

rlitrem
Автор

Про центральную предельную теорему хотелось бы подробнее. Видео супер

unyoyyr
Автор

Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе

rlitrem
Автор

спасибо!!! реально не зря потратила 47 минут) прям более лаконичного и простого объяснения, как это происходит в реальной работе, не встречала)

CECTPAXAOC
Автор

Балдеж видос! Скину команде чтобы тоже в теме были))

Markerus
Автор

Андрей, спасибо большое за обучающие видосы ❤ такая информация в видео формате на вес золота))

caseygold
Автор

Интересно ещё про историю с ratio-метриками, как их преобразовывать, может быть, тянет на отдельное видео

rlitrem
Автор

Поддержу других комментаторов - огромное спасибо!)
Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅
Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤

Lucas_Gr
Автор

Спасибо, Андрей! А можно разобрать какое-нибудь тестовое задание, которое высылают в ответ на резюме при приёме на работу?

spptvwx
Автор

Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)

nikitaaksenov
Автор

Спс братишка, завтра гляну. Будем внедрять, а то аж стыдно как-то.

condemime
Автор

На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.

fsfnpjy
Автор

Привет, про сэмпл сайз можно пример плз. Обычно бутстрепом на АА размер можно эффективно оценить

ivanrubnenkov
Автор

По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤

Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях?
В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове

lodosmor
Автор

Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?

yvolfrv
Автор

Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.

hbcyvlt