Аналитическое хранилище Avito.ru — от больших к очень большим данным — Артем Данилов, Avito

На первый взгляд, проектирование хранилища данных — типовая задача: собрать требования, построить модель данных и реализовать ETL. Однако лавинообразный рост объема данных и их сложности легко может нарушить работоспособность хранилища. В докладе показано:

— как вслед за расширением бизнеса хранилище Avito за несколько лет выросло до 76 ТБайт;

— откуда вообще у компании большие данные;

— в чем состоят основные принципы аналитики;

Особое внимание уделено ответу на вопрос, почему следование ограничениям шестой нормальной формы (Anchor Modeling) помогает оперативно расширять хранилище, эффективно масштабировать нагрузку в среде MPP СУБД и развиваться в условиях микросервисов.

Avito Product Analytics Meetup
09/12/2017

[SiteBizzona]

Все таки вопрос по теме кучи джойнов не раскрыт, если добавляется новый атрибут, как отдельное таблица, то каким образом он изначально появился в общей шине данных - монгодб? Что там?