Data-Warehouse-Automatisierung
In Data-Warehouse-Umgebungen müssen täglich zahlreiche Prozesse zuverlässig ausgeführt werden. Obwohl viele Unternehmen bereits über ein Workload-Automatisierungssystem (WLA) verfügen, wird dieses häufig nicht zur Steuerung der einzelnen Data-Warehouse-Prozesse genutzt. In der Praxis löst das WLA-System meist nur große, komplexe Batch-Prozesse aus, während die detaillierte Workflow-Steuerung innerhalb dieser High-Level-Prozesse über externe Mechanismen erfolgt. Die Gründe liegen häufig in fehlenden Funktionen des bestehenden WLA-Systems oder in dessen komplizierter Bedienung.
Die Komplexität der Data-Warehouse-Workflows stellt hohe Anforderungen
Viele Data-Warehouse-Batches werden intern über integrierte Scheduling-Funktionen der jeweiligen Tools und/oder über Skripte (sh, Perl, Python …) gesteuert. Dies ist problematisch, sobald externe Prozesse integriert werden müssen – für viele Tools ist das nur eingeschränkt oder gar nicht möglich, wodurch komplexe Workarounds entstehen.
In „Best-of-Breed“-Umgebungen mit verschiedenen Spezialwerkzeugen verschärft sich das Problem: Die Überwachung aktiver Workflows verteilt sich auf mehrere Systeme und wird schnell unübersichtlich.
Wird ein Tool ersetzt, müssen sämtliche dort integrierten Workflow-Kontrollen neu entwickelt werden. Noch schwieriger wird es bei Skriptlösungen: Um ein Mindestmaß an Stabilität zu erreichen, entsteht ein hoher Entwicklungsaufwand, der nicht selten in der unbeabsichtigten Entwicklung eines kleinen, proprietären Scheduling-Systems endet.
Warum ein zentrales Dispositionssystem unverzichtbar ist
Die skizzierten Lösungsansätze sind weder effizient noch nachhaltig. Auf Dauer verursachen sie unnötige Kosten und machen einen stabilen Betrieb kaum möglich. Eine Data-Warehouse-Umgebung ohne professionelles Scheduling-System ist immer teuer, fehleranfällig und schwer zu betreiben.
Enterprise-Scheduling-Systeme stammen ursprünglich aus der Mainframe-Welt, wo Produktionsabläufe meist statisch, überschaubar und stabil sind – und nur selten Eingriffe erfordern.
In Data-Warehouse-Umgebungen gelten andere Regeln: Arbeitsabläufe ändern sich häufig, Fehler aufgrund großer Datenvolumina treten wesentlich öfter auf, und Entwicklung sowie Betrieb sind nur selten strikt getrennt.
Das bedeutet: Entwickler müssen nicht nur entwickeln, sondern auch ihre eigenen Data-Warehouse-Prozesse betreiben und überwachen. Die komplexen Abhängigkeiten dieser Workflows stellen hohe Anforderungen an das eingesetzte Scheduling-System.
Veraltete Enterprise-Scheduling-Systeme sind für diese dynamischen Anforderungen nicht ausgelegt und daher für den Data-Warehouse-Betrieb oft ungeeignet.
Welche Features ein modernes System bieten muss
Ein geeignetes Scheduling-System für Data-Warehouse-Umgebungen sollte folgende Eigenschaften aufweisen:
- Einfache, schnell erlernbare Bedienung ohne Programmierkenntnisse durch klare, verständliche Konzepte.
- Vollständige Abbildung komplexer Workflow-Logiken ohne Skripting-Abhängigkeiten.
- Änderungen von Workflows jederzeit möglich, ohne aktive Instanzen zu beeinträchtigen.
- Volle Kontrolle über aktive Workflows zur schnellen Reaktion in Notfallsituationen.
- Betrieb ohne besondere Systemrechte (z.B. Root).
- Definition, Ausführung, Überwachung und Analyse ohne lokale Softwareinstallation – ausschließlich über einen Web Application Server.
- Mechanismen zur Steuerung von Systemressourcen, um Engpässe und daraus resultierende Fehler zu minimieren.
- Durch Benutzerprivilegien geschützte Nutzung von Workflow-Definitionen, -Überwachung und -Ausführung.
Viele etablierte Workload-Automatisierungssysteme erfüllen diese Anforderungen nur teilweise. Die Folge sind Workarounds, Skripte und Shadow-IT – mit hohen Kosten, geringerer Stabilität und begrenzter Wartbarkeit.
Einfachheit der Bedienung
Bei der Entwicklung des BICsuite Scheduling Systems stand Benutzerfreundlichkeit im Mittelpunkt. Ein Web-Applikationsserver stellt eine leicht verständliche, browserbasierte Oberfläche bereit, die alle Bereiche abdeckt – von der Workflow-Definition über das Scheduling und die Überwachung bis hin zur Verwaltung der Jobserver.
Erfahrungen aus Kundenprojekten zeigen: Eine Einarbeitungszeit von etwa drei Stunden genügt, damit Teammitglieder das System produktiv einsetzen können. Vorlagen für wiederkehrende Abläufe reduzieren den Bedarf an tiefem Systemwissen zusätzlich.
Vollständiger Funktionsumfang
Data-Warehouse-Workflows zeichnen sich durch komplexe Abhängigkeiten aus. Um Skripte zu vermeiden, benötigt ein Scheduling-System ein vollständiges Feature-Set. Das BICsuite Scheduling System wurde auf Grundlage der Anforderungen eines großen Data Warehouses entwickelt und über Jahre hinweg im Produktivbetrieb optimiert.
Einige der wichtigsten Funktionen von Schedulix und BICsuite:
- Beliebig viele benutzerdefinierte Exit-Status für flexible Reaktionen – weit über „Erfolg/Fehler“ hinaus.
- Übergabe zusätzlicher Ergebnisdaten an das Scheduling-System, sichtbar im Monitoring-Modul.
- Workflow-Steuerung auf Basis von Exit-Status, Ergebnisdaten, Abhängigkeiten und Triggern, einschließlich bedingter oder wiederholter Sub-Workflows.
- Verwendung von Job-Parametern und Ergebnissen für nachfolgende Prozessschritte.
- Hierarchische Workflow-Strukturen zur Vereinfachung komplexer Abläufe und zur Wiederverwendung von Sub-Workflows.
- Ressourcen als statusbehaftete Objekte (z. B. Tabellen, Datenbereiche), um Abhängigkeiten dynamisch zu steuern.
- Dynamischer Submit zur Auslösung von Jobs oder Sub-Workflows zur Laufzeit.
- Warnsystem zur frühzeitigen Problemerkennung ohne Workflow-Unterbrechung.
- Umfassende API für die programmatische Steuerung aller Funktionen.
- Alle Definitionen, Konfigurationen und Laufzeitdaten liegen in einem RDBMS – ideal für individuelle Auswertungen.
- …
Eine vollständige Funktionsübersicht würde den Rahmen dieser Seite sprengen. Viele andere WLA-Systeme scheitern an dieser Komplexität – mit der Folge, dass Aufgaben in Skripte ausgelagert werden, die unflexibel, instabil und schwer wartbar sind.
Flexibilität
Data-Warehouse-Workflows ändern sich häufig und laufen oft über sehr lange Zeiträume. Ein modernes Automatisierungssystem muss daher in der Lage sein, mehrere Versionen eines Workflows parallel zu verwalten. In schedulix und BICsuite wird jede Version vollständig gespeichert; eine Workflow-Instanz läuft immer mit der Version, die zum Zeitpunkt ihres Starts gültig war.
Für Ad-hoc-Aktionen wie Fehlerbehebungen, Analysen oder Migrationen können Jobs und Workflows schnell erstellt und unter Kontrolle des Systems ausgeführt werden. So bleiben Ressourcen geschützt, und das Risiko von Störungen in Produktionsabläufen sinkt erheblich.
Operator-Funktionen
Data-Warehouse-Prozesse erfordern schnelle Reaktionen. Daher stehen umfangreiche Eingriffsmöglichkeiten für aktive Workflows zur Verfügung:
- Anhalten und Fortsetzen von (Teil-)Workflows
- Wiederholen fehlgeschlagener Jobs
- Manuelles Setzen von Exit-Status
- Abbrechen von (Sub-)Workflows
- Ignorieren von Abhängigkeiten oder Ressourcenanforderungen
- Ändern von Prioritäten
- Beenden aktiver Jobs
- Hinterlegen von Kommentaren
- Zurücksetzen von Warnungen
- Anpassen von Ressourcenverfügbarkeit und -mengen
- Starten und Stoppen von Jobservern
- Alle Eingriffe werden vollständig im Audit Trail protokolliert.
Keine Einschränkungen bei Systemprivilegien
Da Data-Warehouse-Teams in der Regel keine Systemprivilegien besitzen, führen Systeme, die Root-Rechte oder ähnliche Berechtigungen benötigen, zwangsläufig zu Verzögerungen und Kosten – insbesondere in ausgelagerten Infrastrukturumgebungen. schedulix und BICsuite benötigen für Installation, Administration und Betrieb keinerlei derartige Rechte und ermöglichen damit einen schnellen, reibungslosen Einsatz.
BICsuite Highlights
Mehr erfahren
Entdecken Sie in unserer stetig erweiterten Sammlung aus Artikeln, Tutorials und Erklärvideos praxisnahe Einblicke und Best Practices rund um Schedulix und BICsuite.
Mehr erfahrenHaben Sie noch Fragen?
Gerne unterstützen wir Sie persönlich, wenn Sie Fragen haben oder weitere Informationen benötigen. Nehmen Sie einfach Kontakt mit uns auf.
Kontaktieren Sie uns↑ Nach oben