filmov
tv
Введение в Оркестрацию // Демо-занятие курса «Spark Developer»
Показать описание
На сегодняшний день, инструменты Оркестрации - это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой.
Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by- insert из production базы данных в "холодную" реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.
Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Преподаватель: Максим Мигутин - более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов
Следите за новостями проекта:
Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by- insert из production базы данных в "холодную" реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.
Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Преподаватель: Максим Мигутин - более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов
Следите за новостями проекта:
1:18:05
1:22:13
1:05:14
1:23:56
1:23:42
1:45:46
0:55:29
1:11:12
1:47:59
1:57:36
1:27:08
1:23:42
1:49:56
1:24:08
1:47:44
1:45:59
1:12:18
2:14:10
0:53:09
1:24:21
1:26:15
1:28:23
0:20:20
1:00:53