Data Engineering auf Cloud-Plattformen
Anbieter: NEXIO Online Akademie GmbH
AZAV-zertifizierter Träger
Förderung durch die Agentur für Arbeit möglich
Kursbeschreibung
In diesem Kurs erarbeitest Du die Grundlagen und Anwendungsbereiche des Data Engineering auf Cloud-Plattformen. Du steigst mit Cloud-Datenplattformen und Architekturmustern wie Data Lake, Data Warehouse und Lakehouse ein und vertiefst anschließend SQL für analytische Auswertungen. Du lernst, Daten aus Batch-, Streaming- und Change-Data-Capture-Quellen aufzunehmen, mit verteilten Verarbeitungsverfahren aufzubereiten und über ETL- sowie ELT-Strecken in modellierte Zielstrukturen zu überführen. Weitere Schwerpunkte sind Streaming-Verarbeitung mit verteilten Clustern, Datenmodellierung, Speicherstrategien, Datenqualität und Validierung sowie Datenlebenszyklus und Katalogisierung. Im weiteren Verlauf richtest Du den Pipeline-Betrieb samt Orchestrierung und Monitoring ein und arbeitest Sicherheit und Datengovernance auf Cloud-Plattformen aus. Den Abschluss bildet ein Praxisprojekt, in dem Du eine Ende-zu-Ende-Datenpipeline aus Aufnahme, Transformation, Modellierung, Qualitätssicherung, Orchestrierung und überwachter Auslieferung umsetzt.
Lehrplan & Module
Cloud-Datenplattformen
Du lernst den Aufbau von Cloud-Datenplattformen kennen, etwa Speicher-, Rechen- und Analysedienste, und vergleichst Bereitstellungsmodelle wie IaaS, PaaS und SaaS. So kannst du Plattformkomponenten für Datenprojekte gezielt auswählen.
Data Lake, Data Warehouse und Lakehouse
Du vergleichst die Architekturmuster Data Lake, Data Warehouse und Lakehouse hinsichtlich Datenstruktur, Abfrageleistung und Einsatzzweck. Dabei lernst du auch offene Tabellenformate kennen.
Datenaufnahme aus verschiedenen Quellen
Du bindest Datenquellen über Batch-Ladeprozesse, Streaming und Change Data Capture an. Zudem lernst du, mit APIs, Datenbanken und Dateiformaten wie CSV, JSON und Parquet umzugehen.
Datenverarbeitung und ETL/ELT
Du entwickelst ETL- und ELT-Prozesse zur Bereinigung, Transformation und Anreicherung von Daten. Dabei setzt du SQL und Python für wiederholbare Transformationen ein.
Enthaltene Zertifikate
Voraussetzungen
Vorausgesetzt werden Deutschkenntnisse in Wort und Schrift auf Niveau B1 sowie Englischkenntnisse in Wort und Schrift auf Niveau B2 (Fachdokumentation). Erforderlich sind solide IT-Grundkenntnisse, sicherer Umgang mit dem Betriebssystem, Grundkenntnisse in Datenverarbeitung sowie ein Grundverständnis von Cloud Computing. Programmiererfahrung in einer höheren Sprache, idealerweise Python, ist von Vorteil.
Zielgruppen
- Arbeitssuchende
Berufsbilder
- Data Engineer
- Dateningenieur
- Cloud-Ingenieur
Über den Anbieter
