Map Reduce einfach erklärt - Was ist die Idee von Apache Spark, Flink & Hadoop?

preview_player
Показать описание
#DataScience Werkzeuge wie zum Beispiel Apache Hadoop, Spark oder Flink sind mächtig, basieren aber auf einer einfachen Grundidee: das Aufteilen großer Datenmengen und die parallele Verarbeitung dieser Teile.

Das Video hat nicht den Anspruch, #MapReduce einschließlich Shuffle-Phase im Detail zu besprechen. Es soll vielmehr die generelle Idee vermittelt werden um in das Thema einzusteigen.

Inhalt:
00:00 Einleitung
00:17 Vorbereitung
00:34 Übungen
01:18 Alte for-Schleife
02:03 Map
03:17 add-Funktion
03:43 Reduce
04:40 Parallele Verarbeitung
06:23 Fazit

Big Data & Data Science Kurse bei predic8:

#BigData & NoSQL mit Open Source Werkzeugen

Einführung in Apache Kafka für Entwickler und Administratoren

Apache Cassandra

Über Thomas Bayer
Twitter: @thomasub
Рекомендации по теме
Комментарии
Автор

Vielen Dank, sehr verständlich!
Nur als kleines Feedback: Ich liebe "Real-live" Beispiele! Es wäre Klasse, wenn mehr davon in den Videos wären, damit man weiss, wie die 1A Erklärungen in der Realität dann auch genutzt werden. Ist jetzt nicht (nur) auf dieses Video bezogen, sondern eher allgemeines Feedback.
Vielen Dank für die Mühen!

KlamseN
Автор

Super wieder ein tolles VIdeo. Dankenswerterweise auf deutsch. Vieles wird so viel verständlicher.

bookswiper
Автор

Vielen Dank :D Sehr verständlich erklärt.

devotion
Автор

Besser hätte man es nicht erklären können, danke!

WiiHack