Mit unseren praxisnahen Databricks-Workshops die Zukunft der Datenanalyse entdecken!

Analyse Use-Case

• Identifizierung der Stakeholder
• Ermittlung der Anforderungen und Ziele der Stakeholder
• Identifizierung der möglichen Datenbasis für den Use-Case
• Definitionen für Berechnungen und Geschäftslogik
• Entwurf von Report-Design / Mock-Up

Lösungsdesign

• Datenmodellierung für ein Lakehouse mit Medaillon-Architektur
• Design von Extract-Load-Transform-Workflows mit Delta-Live-Tables
• Design der Power-BI-Strukturierung (Workspaces, Semantic-Model, Berichtsseiten und Visuals)

Umsetzung Lakehouse auf Databricks

• Datenladung mit Databricks-Notebooks
• Aufbau von Data-Lakehouse-Strukturen im Unity-Catalog
• Umsetzung von ELT – Extract-Load-Transform mit Delta-Live-Tables für die Anwendung von Geschäftsregeln
• Bereitstellung eines Sternschema Data-Marts für Power BI

Umsetzung Power-BI-Bericht

• Inkrementelle Datenladung in Power BI mit Power-Query
• Datenmodellierung und Aufbau von semantischen Datenmodellen nach Best-Practices
• Erstellung von DAX-Kalkulationen für dynamische Kalkulationen und fortgeschrittene Analysen
• Erstellung von Visualisierungen mit Interaktivitäten
• Publizierung des Berichts im Power-BI-Service für effektive Kollaboration

Einführung und Use-Case-Auswahl

• Willkommen und Einführung
• Überblick über den Workshop
• Vorstellung der Teilnehmer und ihrer Projekte

Use-Case-Präsentation

• Vorstellung des ausgewählten Use-Cases
• Zielsetzungen und erwartete Ergebnisse

Plattform-Setup

• Einrichtung der Databricks-Umgebung
• Einführung in relevante Databricks-Tools

Datenverarbeitung und Feature-Engineering

• Datenquellen und -integration
• Aufbau der Datenpipeline

Feature-Engineering

• Erstellung und Auswahl von Features
• Feature-Store Nutzung

Praktische Übungen

• Implementierung der Datenpipeline
• Erstellung von Features für das Modell

Modellentwicklung

• Auswahl und Training von ML-Modellen
• Hyperparameter-Tuning

Modellvalidierung

• Validierung und Evaluierung der Modelle
• Cross-Validation und Performance-Metriken

Praktische Übungen

• Training und Validierung von Modellen
• Modellvergleich und Auswahl

Modellbereitstellung und -überwachung

• Deployment-Strategien
• Real-time- und Batch-Inferencing

Modellüberwachung

• Überwachung von Modellen in Produktion
• Nutzung von Lakehouse-Monitoring

Praktische Übungen

• Bereitstellung des Modells in Databricks
• Einrichtung von Monitoring-Dashboards

Abschluss und Use-Case-Präsentation

• Präsentation der erarbeiteten Lösung
• Feedback und Diskussion

Best-Practices und Lessons-Learned

• Erfolgsfaktoren und Herausforderungen
• Tipps für zukünftige Projekte

• Zusammenfassung und Ausblick
• Offene Fragen und Diskussion

Analyse Ausgangssituation

• Aufnahme der bisherigen Vorgehensweise der Datenanalyse
• Definition der Anforderungen / Erwartungen / Ziele
• Festlegung der Verwendungszwecke der Daten
• Analyse des erwarteten Nutzungsverhalten

Analyse der Datenquellen

• Analyse der relevanten Quellsysteme
• Analyse der möglichen Schnittstellen / Anbindung / Zugriffsmöglichkeiten
• Analyse der Datenstrukturen in den Quellen

Mögliche Datenstrecken

• Entwurf der Ladestrecken von der Quelle in die Cloud-Datenplattform Databricks
• Definition der Anbindung von OnPremise-Datenquellen

Größe und Komplexität der Daten

• Analyse des/der erwarteten Datenvolumen / -mengen absolut
• Analyse des/der sich ändernden erwartete Datenvolumen /
  -mengen
• Definition der Häufigkeit von Datenaktualisierung

Architekturentwurf

• Entwurf des Architektur Diagramms
• Definition von Strategien zur Datenanbindung
• Strukturierung eines Databricks-Lakehouses nach Best-Practices
• Anbindung von Analytics, KI/ML und anderen Konsumenten der Daten
• Definition der initiale Cluster-Empfehlungen

Präsentation des Architekturentwurfs

• Vorstellung von Handlungsempfehlungen und nächste Schritte