Прагматичный подход к трансформации данных: dbt и Python — Ярослав Телишевский, независимый эксперт

Существует множество способов преобразования данных — от простых скриптов на коленке и длинных SQL-запросов до сложных платформ, таких как Airflow. Однако часто эти методы имеют свои недостатки и не удовлетворяют нашим потребностям.

Мы разобрались:
- как dbt и Python могут решить многие проблемы в области преобразования и подготовки данных для аналитики.
- как сделать пайплайн для обработки наших данных с тестированием и версионированием.
- как добавить в скучный SQL шаблонизатор Jinja и функции на Python.

Спикер: Ярослав Телишевский, независимый эксперт

___
X5 Tech — IT-компания в составе Х5 Group и основной цифровой партнер торговых сетей и бизнесов группы. Команда из более 3300 специалистов разрабатывает решения, которые помогают десяткам миллионов людей каждый день покупать любимые продукты свежими и по лучшей цене. Сегодня в X5 Tech сфокусированы на разработке собственных решений и продуктов вне зависимости от вендоров.
____
Подписывайтесь на Х5 Tech, чтобы знать больше о технологиях:

#большиеданные #python #митапы

[SergiusBfg]

По первым минутам стало понятно, менеджеры му...ки которые не смогли построить систему метрик для аналитики. А ИТ му...уи потому что у них свалка данных без организации процессов хранения и обработки. В конце концов, все гавно стекает в низ. И гдето в подвале все равно сидят джуны котоые делают ad-hoc репортсы