Apache Spark

Apache Spark Kursprogramm bei meine-schulungen

Unser Kursangebot zu Apache Spark besteht aus aufeinander aufbauenden Modulen und Trainingsplänen. Es richtet sich an Einsteiger:innen und fortgeschrittene Data Scientist:innen, Big Data Analysten, Data Plattform Architekt:innen und Big Data Engineers. Zusätzlich zu den aufgeführten Modulen können auf Anfrage auch weitere Big Data und Analytics Kurse für spezielle Kundenanforderungen angeboten werden.

Was ist Apache Spark

Apache Spark ist eine ganzheitliche Software für die Ausführung von Data Engineering, Data Science und maschinellem Rechnen auf einem Einzelrechner oder in einem Cluster Rechnerverbund. Die Software besteht aus:

• Spark Core als zentrale Softwarekomponente. Zu den Eigenschaften von Spark Core zählen in Memory-Berechnungsverfahren, ein allgeimes Ausführungsmodell für Anwendungen sowie die am funktionalen Programmierparadigma ausgerichteten Schnittstellen zu den offiziell unterstützen Programmiersprachen Phython, Scala, Java und R.
• Spark SQL und DataFrames als Komponente für Datenbankabfragen von strukturierten und semistrukturierten Daten
• Spark Streaming als Werkzeug zur Datenverarbeitung von kontinuierlichen Datenflüssen anstelle von batch Dateien
• MLlib eine Machine Learning Bibiliothek die sich nahtlos in Apache Spark integriert und ML-Prozesse unterstüzt für Clustering (Gruppierung), Klassifikation, lineare Regression und Empfehlungen
• GraphX als integrierte Knowledge Graph Bibliothek zur Berechnung von Beziehungen und Semantiken von Daten zueinander.

Apache Spark Versionen

• 2009 – Entwicklungsbeginn von Apache Spark.
• 2014 – Veröffentlichung der Version 1.0.0.
• 2015 – Veröffentlichung der Machine Learning Bibliothek MLlib mit Version 1.3.
• 2016 – Veröffentlichung der Hauptversion Apache Spark 2.0 mit dem catalyst optimizer
• 2018 – Freigabe der Hauptversion Apache Spark 3.0 im Juni

Vorteile von Apache Spark

• Geschwindigkeit
  In-Memory Datenverarbeitung ermöglicht das Vorhalten von Rechenergebnissen im Arbeitsspeicher und erlaubt die zeitnahe (near real time) Weiterverarbeitung, ohne Zwischenspeichern auf Festplatten.
• Skalierbarkeit
  Dateisystematik RDD – Resilient Distributed Datasets – befähigkeit zur verteilten prallelen gleichzeitigen Datenverarbeitung (Nebenläufigkeit) auf Rechnern in einem Cluster Verbund.
• Integriertheit und Vollständigkeit
  Verteilte Datenverarbeitung und in Memory Technologie sowie eigene Bibilitheken für SQL Datenbankabfragen, Streaming Daten, Machine Learning und Diagrammverarbeitung die aufeinander abgestimmt sind, liefern einen hohen Grad an funktionaler Vollständigkeit für die Bedürfnisse von Data Science und Data Engineering.
• Anwenderfreundlichkeit

Apache Spark Ökosystem

Um Apache Spark hat sich eine Vielfalt anderer Software, Bibliotheken, SDKs und aktiven Zulieferern und Produzenten entwickelt, die mit Spark kompatibel sind.

Apache Spark Download

Apache Spark Download