Оптимизация работы с данными для Data Warehouse Analyst //Курс «Data Warehouse Analyst»

На уроке вы узнаете: основные принципы при оптимизации работы с данными, ключевые моменты которые необходимо учитывать при работе с данными и выборе стратегии построения корпоративного хранилища данных.

В результате рассмотрим:
- Методы и инструменты для сбора и обработки данных
- Проектирование и оптимизация структуры хранилища данных
- Разработка и оптимизация ETL-процессов
- Мониторинг и обеспечение качества данных

Кому подойдёт: junior +\ middle DWH analyst

Преподаватель: Анатолий Борзилов - главный архитектор данных "Иннотех"

Эпизоды:
00:00 - Начало трансляции
00:54 - Знакомство с лектором Борзиловым Анатолием, главным архитектором данных Иннотех
08:46 - Карта курса
17:30 - В чем отличие TCP систем от UDP
19:00 - Свойства источников
20:42 - Пара слов о Self-managed data pipelines (arrbyte, singer, apache airflow, dagster, meltano)
21:15 - В чем разница пассивных и активных источников
22:23 - Структурные / неструктурные данные
23:26 - Бинарные (Thrift, Avro, MsgPack) VS текстовые форматы данных (CSV, JSON, XML)
25:13 - Требования при проектировании и оптимизации структур хранилищ корпоративных данных (DWH). Типовые кейсы и требования.
28:48 - Логические слои DWH
30:11 - Подход Bill Inmon
30:39 - Подход Ralph Kimball
32:07 - Data Vault
33:42 - Anchor Modeling + Code Generation
35:50 -Об облачных ETL-решениях
43:20 - Подробнее о Self-managed data pipelines (arrbyte, singer, apache airflow, dagster, meltano)
51:30 - Качество данных и мониторинг с примерами
55:50 - Как не надо проверять качество данных
1:00:00 - Про процесс обучения на курсе DWH в Otus
1:04:05 - Карьерная информация по DWH

Следите за новостями проекта: