Архитектура потоковой обработки данных для Data Engineer // Демо-занятие курса «Data Engineer»

На открытом уроке мы познакомимся с потоками данных и Dataflow Model. Изучим паттерны проектирования потоковой обработки и изучим фреймворки потоковой обработки.

Открытый урок будет интересен инженерам данных, архитекторам, аналитикам.

Цели открытого урока:
- познакомиться с Dataflow Model;
- рассмотреть паттерны проектирования потоковой обработки;
- рассмотреть фреймворки потоковой обработки.

После прохождения ОУ участники смогут:
-используя фреймворки потоковой обработки данных строить ETL процессы загрузки и трансформации данных из около real-time источников данных;
-используя паттерны потоковой обработки строить lambda и kappa архи.

Преподаватель: Андрей Поляков - старший разработчик в Unlimint

Следите за новостями проекта:

[vtyr]

08:48 Знакомство с платформой
14:05 Потоковая обработка данных
19:00 Дата Фол Модул
22:27 Паттерны проектирования
23:58 Потоковая обработка данных
32:26 Фреймворки для потоковой обработки
36:47 Абстракции и топология в Kafka Streams
43:05 Обработка данных с помощью Kafka Streams
49:07 Обработка данных с помощью Spark Streaming
57:18 Источники данных для Spark Streaming
01:00:18 Операции над потоковыми данными
01:03:00 Потоковая обработка данных
01:07:28 Режимы вывода данных
01:14:18 Примеры использования Spark Streaming
01:18:07 Заключение