Kurzbeschreibung
Der (Big) Data Engineer wirkt bei allen Prozessen rund um die Generierung, Speicherung, Pflege, Aufbereitung, Anreicherung und Weitergabe von Daten mit. Ein besonders wichtiges Aufgabenfeld dabei ist die Konzeption, Konfiguration, die Administration und das Monitoring der Hardware- und Software-Infrastruktur.
Auf diesem Verständnis setzt diese Grundlagen-Schulung auf. Sie vermittelt einen ersten Ein- und Überblick über Komponenten, Methoden und Begrifflichkeiten zu den Themen Cloud, Data Engineering und der Abgrenzung zu Data Science. Vermitteltes theoretisches Fachwissen wird durch ein fiktives Projekt ergänzt und hilft erste praktische Erfahrungen zu sammeln.
Nach einer Einführung in die Paradigmen von Big Data lernen Sie anhand eines realen Twitter Datensets, wie einfach Sie Daten in den Hadoop Cluster streamen bzw. integrieren können.
Danach lernen Sie eigenständig Daten in der Form umzuwandeln, das Sie sich integrieren, speichern und analysieren lassen. Bei dieser Daten-Transformationen orientieren wir uns am Data Lake Konzept. Am Ende des Data Engineering Prozesses haben Sie die Daten soweit verdichtet und aufbereitet, dass Sie sich mit Data Science Methoden analysieren lassen.
Optional: Auf Wunsch können wir Ihnen das Thema auch speziell auf das Ökosystem in der Amazon AWS Cloud aufbereiten.
Voraussetzungen
• Grundkenntnisse der Programmierung
• Erfahrungen mit Datenbanken und mindestens einer Datenbankabfragesprache vorzugsweise SQL
Seminarinhalt
Big Data und das Hadoop Ökosystem
• Was ist Big Data?
• Auffrischung: Wissen zu Netzwerken
• Basiswissen verteilte Systeme
• Was ist Hadoop?
• Was ist ein Hadoop Cluster?
• Business Use Case
• YARN
Big Data Engineering Toolset und Security
• Spark
• Kafka
• NiFi
• HDFS
• HBase
• Hive
• SparkSQL
• Spark Streaming
• Security
Zielgruppen
• angehende Data Engineers
• angehende Data Scientists
• Datenbankspezialisten
Preise und Termine
Seminarsprache
die Seminarsprache ist deutsch, sofern keine andere Angabe. Englisch ist in aller Regel machbar, andere Seminarsprachen sind möglich, fragen Sie bitte an.