Prozessabläufe in hochdynamischen IT-Landschaften ändern sich nahezu täglich, dadurch sind die Anforderungen an Workload Automation Systeme nicht nur im Umfeld Data Warehouse und Big Data rapide gewachsen. Nahezu jedes Unternehmen betreibt heute komplexe, heterogene IT-Umgebungen, die sich aus Servern an verschiedenen Standorten, Multicloud-Umgebungen und Containern zusammensetzen. Bei der Automatisierung der Prozesse sind Fehler bei der Verarbeitung großer Datenmengen durch Ressourcen-Engpässe wesentlich häufiger.
Eine strikte Trennung zwischen Entwicklung und Produktion existiert häufig nicht. Das führt dazu, dass jeder Entwickler neben seiner eigentlichen Tätigkeit zusätzlich mit der Überwachung und dem Betrieb seiner Data Warehouse-Prozesse beschäftigt ist. Die komplexen Abhängigkeitsbeziehungen in Data Warehouse-Abläufen stellen hohe Ansprüche an die Funktionalität des eingesetzten Automatisierungswerkzeuges. Viele herkömmliche Enterprise Scheduling Systeme bieten diese Eigenschaften nicht oder nur teilweise und sind daher für den Einsatz in komplexen System-Landschaften nur sehr bedingt geeignet.
Eigenschaften eines Workload Automation Systems
Ein Workload Automation System in einem anspruchsvollen IT-Betrieb muss unter anderem folgende Eigenschaften mitbringen:
- Um auf neue Anforderungen im Data Warehouse schnell reagieren zu können, müssen Abläufe jederzeit geändert werden können, ohne bereits aktive Abläufe zu beeinflussen und der Operator muss immer Einfluss auf aktive Abläufe nehmen können, um auf Ausnahmesituationen geeignet reagieren zu können.
- Für die Installation, Administration und den Betrieb des Systems dürfen keine besonderen Systemprivilegien (Root-Rechte, etc) erforderlich sein. Der Zugriff auf Abläufe bzgl. Definition, Monitoring und Operation, sowie die Möglichkeit der Ausführung von Jobs in bestimmten Umgebungen (Jobserver) muss durch Privilegien abgesichert werden können.
- Die Definition, Ausführung, Überwachung und Problemanalyse muss ohne zusätzliche Softwareinstallation von jedem Arbeitsplatz aus möglich sein (Web Application Server).
- Das System muss geeignete Mechanismen zur Kontrolle der Systemressourcen zur Verfügung stellen, um Fehler durch Ressourcen-Engpässe zu vermeiden bzw. zu reduzieren.
- Die Bedienung (Job/Batch Definition, Execution, Monitoring, Operation) muss auch ohne Programmierkenntnisse leicht und schnell zu erlernen sein. Dazu müssen die dem System zugrundeliegenden Konzepte einfach, klar und verständlich sein. Das Scheduling System muss alle Features mitbringen, um auch komplexe Aufgabenstellungen zur Ablaufsteuerung abbilden zu können, damit nicht auf Scripting-Lösungen ausgewichen werden muss.
Workload Automation ist eine ausgereifte Weiterentwicklung des Job Scheduling
Diese Anforderungen wurden schon in der Designphase von BICsuite berücksichtigt. Deswegen war BICsuite war also schon eine Workload Automation (WLA) Lösung, lange bevor EMA (Enterprise Management Associates) 2008 die Probleme mit traditioneller Enterprise Job Scheduling Software folgendermaßen beschrieb:
„Die meisten Unternehmen verfügen über eine oder mehrere Job Scheduling-Lösungen, die einfache Batch-Jobs oder Skript-Workflows automatisch übermitteln und überwachen. In vielen Fällen sind die typischen Job Scheduler jedoch nicht in der Lage, große, moderne, komplexe Unternehmens-Workloads zu bewältigen. Workload Automation (WLA) ist eine ausgereifte Weiterentwicklung des Job Scheduling, die viel komplexere Workloads unterstützt und auf traditionellen Job Scheduling Tools aufbaut, indem sie Unterstützung für ereignisgesteuerte Workloads, Web Services, Composite Applications, Service Oriented Architectures (SOAs), virtuelle Infrastrukturen, verbesserte Interoperabilität und Business Service Alignment bietet.“
(Most organizations have one or more job scheduling solutions that automatically submit and monitor simple batch job or script workflows. However, in many cases typical job schedulers do not handle large, modern, complex, enterprise workloads. Workload Automation (WLA) is a mature evolution of job scheduling that supports much more complex workloads, building on traditional job scheduling tools by adding support for event-driven workload, Web services, composite applications, Service Oriented Architectures (SOAs), virtual infrastructures, enhanced interoperability, and business service alignment. https://www.enterprisemanagement.com/research/asset.php/777/SMART-Steps-Toward-Consolidated-Workload-Automation )
Exit Status, Batch und Job Hierarchien, Abhängigkeiten, Ressourcen, Trigger und hierarchisch strukturierte Ablaufumgebungen und deren Kombinierbarkeit erlauben eine einfache, verständliche und robuste Umsetzung aller in der Praxis auftretenden Aufgaben. Diese Konzepte gehen weit über die Anforderungen hinaus, mit denen EMA Workload Automation Tools beschreibt. Schon lange, bevor der Begriff Workload Automation Platform geprägt wurde, war BICsuite bereits in der Lage, zeit- und ereignisgesteuerte Prozesse zentral zu orchestrieren.
Der BICsuite Job Scheduling Server
Im Zentrum des Systems steht der BICsuite Job Scheduling Server, der alle logischen Funktionen des Systems übernimmt. Er hält alle Daten für Konfiguration, Modellierung, Prozesszustand, Protokollierung, etc. per JDBC in einem relationalen Datenbank Management System aktuell. Eigenschaften, die BICsuite seit 2001 bereitstellt und die Gartner in Bezug auf Workload Automation im Jahr 2014 als Zukunftsmodell beschreibt:
„Technologien zur Workload-Automatisierung werden digitale Unternehmen unterstützen, indem sie die Verlagerung von Workloads an den am besten geeigneten Ort zur Optimierung von Ressourcen in einer heterogenen Umgebung verwalten.”
(„Workload automation technology will underpin digital businesses by managing the movement of workloads to the most appropriate location to optimize resources in a heterogeneous environment.“ https://www.gartner.com/en/documents/2855417-market-guide-for-workload-automation)
Seit 2020 nennt Gartner die Softwareklasse, die eine Weiterentwicklung von Enterprise Job Scheduling und Workload Automation Tools darstellt, die „Service Orchestration and Automation Platform“ (SOAP). Der Unterschied von SOAP Systemen zu ihren Vorgängern, den Workload Automation Systemen besteht darin, dass die Services und Workflows des gesamten Unternehmens mit allen Abhängigkeiten innerhalb einer heterogenen Systemlandschaft ereignisgesteuert auf einer zentralen Plattform orchestriert und automatisiert werden können. Mit den 2001 entwickelten, revolutionären Konzepten hat independIT mit der BICsuite die Evolution der Enterprise Job Scheduling und IT Workload Automation Systeme in Richtung Service Orchestration and Automation Platform (SOAP) vorweg genommen. Seitdem wurde die BICsuite Plattform beständig weiterentwickelt und ist den Herausforderungen eines modernen IT Betriebs in allen Bereichen gewachsen.
Die wichtigsten Eigenschaften professioneller Workload Automation
Dürfen wir Ihnen zeigen, wie BICsuite auch in Ihrem Unternehmen die IT-Prozessautomatisierung optimieren kann? Nehmen Sie Kontakt auf!