PySpark Pipeline в помощь аналитикам данных для построения качественных ETL-процессов. Дмитрий Ч.

Дмитрий Чернышев, старший менеджер по анализу больших данных X5 Tech, рассматривает метод написания кода на PySpark таким образом, чтобы он был более читаем, легко тестируем и поддерживаем. Слушатели узнают как решить проблему документирования кода и логики пайплайнов, а также как стандартизировать работу с аналитическими пайплайнами.

____
Подписывайтесь на Х5 Tech, чтобы знать больше о технологиях:

#X5DataScienceMeetup #X5meetup #datascience