Что такое ETL и ELT за 10 минут. Разница подходов

Тайм-код на момент с отличиями ETL от ELT - 07:43

В этой статье мы узнаем:
- Что такое ETL
- Что такое ELT
- Различия ETL и ELT
- Зачем нужны ETL и ELT
- Примеры инженерии данных ETL и ELT
- 10 плюсов и минусов подходов ETL и ELT

[engineer_notes]

Спасибо тебе красавчик
уже 7 лет в ИТ но всегда забываю тонкости, спасибо за повторение

[niksanmaster]

Визуал у тебя топ. Не знаю как для сеньоров биг даты, а мне как человеку, которому не приходилось иметь дело с этими подходами, все внятно и понятно разжевано. Спасибо за видео. Лайк. Подписка

[smaguloveka]

да все по делу 👍я бы хотел увидеть сам процесс данного подхода на живом примере (типо как инстурментом пользоваться, как брать данные и в конечном все это еще визуализировать )

[ivanl]

Сложно со всеми тезисами согласиться. Что значит “устаревшие DWH”? Они более чем актуальны. Откуда берутся «неструктурированные» данные? Более 90% ИС которые использует бизнес данные структурированы в БД! Большинство бизнесов не анализируют неструктурированные данные. Приведите пример, если не согласны.

Почти все источники можно сразу записывать в Staging и далее в DWH.

Озеро данных подходит для хранения видеозаписей и изображений, которые необходимо будет распознавать (например).

Всё, что можно конвертировать в таблицу (Excel, csv) можно сразу обработать и записать в DWH.

Ощущение, что те кто гнёт линию с озёрами - просто не хотят стоить DWH и отлаживать бизнес-процессы.

Буду рад конструктивному диалогу!

[С.Семенчук]

Использовать SQL для трансформации можно только в ELT? А в ETL запрещено и надо городить гомнокод на питоне? Что это за чушь?

[ClosiusBeg]

А вообще один вопрос к ELT по масштабируемости: Вот у тебя такое море данных, где ты лейблы не для всех одинаковых сущностей будут одинаковы.

[ClosiusBeg]

а мне кажется ELT придкмали машины, чтобы нас завоевать. или производители жестких дисков

[ololo]

Много шума из ничего. Ты сам то понял, что говорил?