BTD11: Apache Nifi – 21st Century Open Source Data Flows

Titel: Apache Nifi – 21st Century Open Source Data Flows
Sprecher: Frank Thiele, TNG

Apache Nifi ist eines der aktuellen Open Source Projekte der Apache Foundation und hat zum Ziel, die gewachsenen Applikationsstacks von Großunternehmen mit einem sehr vielseitigen Mediationssystem zu vereinfachen und in vielerlei Hinsicht leistungsfähiger zu machen. Ein gutes Bild von Apache Nifi bekommt man, wenn man es als "Data Flow Management Plattform" sieht. Es geht als solche einen großen Schritt weiter als klassische ETL Tools (Extract, Transform & Load). Von Haus aus wird ein riesiges Spektrum an Funktionen angeboten, darunter Complex Event Processing, Zero-Master Clustering und Konnektivität mit z.B. Apache Kafka, HDFS, Mongo DB, Couchbase, HTTP und natürlich auch FTP. Insbesondere durch seine Unterstützung der Historisierung von Events und deren Visualisierung (Provenance, Lineage) sticht es aus der Masse an Konkurrenzprodukten hervor. Nach einer Einführung in Apache Nifi und zugrunde liegende Konzepte wird anhand eines Fallbeispiels aus dem Telekommunikationsbereich die Leistungsfähigkeit und einfache Erweiterbarkeit durch eigene Prozessoren aufgezeigt.

Frank Thiele ist Senior Consultant bei TNG Technology Consulting und studierte zuvor Telekommunikationsinformatik an der Hochschule für Telekommunikation in Leipzig. Neben der Beratungstätigkeit absolvierte er dann später noch ein Studium zum Master of Science in Hagen. Aktueller Schwerpunkt seiner Tätigkeit ist die Architektur und Entwicklung einer BigData Streaming Anwendung in der Versicherungsbranche.