Иван Клименко (Arenadata) — CDC в банке от источника до хранилища с применением продуктов Arenadata

— —

Change Data Capture от популярных источников (Oracle, PostreSQL) с применением Debezium, построенном на Kafka Connect, трансформациями в Apache NiFi и сохранением в начальный слой хранилища Greenplum.

Почему именно CDC, а не прямые выгрузки? Обсудили сложности при внедрении, связанные с информационной безопасностью и нагрузкой на транспортные системы, варианты решений по трансформациям и доставке данных до хранилища, варианты разбора данных на хранилище до stage-слоя.

Будет интересно архитекторам хранилищ данных, разработчикам интеграционных решений. Демонстрация — на продуктах Arenadata: ADS — Kafka, Kafka Connect, NiFi и ADB — Arenadata Database.