Bereitstellen von Analysen auf Cloudebene
Bereitstellungsprozess für die Datenverwaltungszielzone
Das Betriebsteam der Datenplattform ist für die Bereitstellung einer Datenverwaltungszielzone verantwortlich. Die Datenverwaltungszielzone sollte über ein eigenes Repository verfügen, das vom Betriebsteam der Datenplattform verwaltet wird.
Achtung
Erstellen sie eine Zielzone für die Datenverwaltung, und stellen Sie sie bereit, bevor eine Datenzielzone bereitgestellt wird.
Bereitstellungsprozess für die Datenzielzonen
Teams können Vorlagen verwenden, die vom Betriebsteam der Datenplattform bereitgestellt werden, um zu vermeiden, bei jedem Medienobjekt von Grund auf neu zu beginnen. Es wird ein Verzweigungsmuster empfohlen, um die Bereitstellung einer neuen Zielzone zu automatisieren.
Beispielsweise fordert ein Betriebsteam für Datenzielzonen eine neue Datenzielzone mithilfe eines IT-Verwaltungstools oder von Power Apps an. Starten Sie nach der Genehmigung der Anforderung den folgenden Workflow mithilfe von Parametern aus der Anforderung:
- Stellen Sie ein neues Abonnement für die neue Datenzielzone bereit.
- Verzweigen Sie den Hauptzweig der Datenzielzonenvorlage, um ein neues Repository zu erstellen.
- Erstellen Sie eine Dienstverbindung in dem neuen Repository.
- Aktualisieren Sie die Parameter in dem neuen Repository basierend auf Parametern aus der Anforderung.
- Erstellen Sie eine Bereitstellungspipeline zum Bereitstellen der Dienste, die durch das Einchecken der aktualisierten Parameter ausgelöst wird.
- Benachrichtigen Sie das Betriebsteam der Datenzielzone darüber, dass die neue Zielzone verfügbar ist.
Das Betriebsteam der Datenzielzone kann jetzt Azure Resource Manager-Vorlagen ändern oder hinzufügen.
Dieser Workflow kann mithilfe mehrerer Dienstsätze auf der Azure-Plattform automatisiert werden. Führen Sie einige der Schritte mithilfe von CI/CD-Pipelines durch, z. B. das Umbenennen von Parametern in Parameterdateien. Andere Schritte können mit anderen Workfloworchestrierungstools wie Logic Apps ausgeführt werden.
Mit dem Verzweigungsmuster können die Teams ihre Vorlagen aus den ursprünglichen Vorlagen aktualisieren, die zum Verzweigen verwendet wurden. Wenn Verbesserungen oder neue Funktionen in den Vorlagenrepositorys implementiert werden, können die Betriebsteams sie auch in ihre Verzweigung ziehen.
Übernehmen Sie bewährte Methoden für Repositorys, z. B.:
- Sichern Sie die Hauptverzweigung.
- Verwenden Sie Verzweigungen für Änderungen, Updates und Verbesserungen.
- Definieren Sie die Codebesitzer, die die Pull-Abfragen genehmigen, bevor Sie Änderungen mit der Hauptverzweigung zusammenführen.
- Überprüfen Sie Verzweigungen durch automatisierte Tests.
- Begrenzen Sie die Anzahl von Aktivitäten und Personen im Team, z. B. wer Build- und Veröffentlichungspipelines auslösen kann.
Tipp
Koordinieren Sie die Aktivitäten zwischen den Teams, um sicherzustellen, dass Verbesserungen oder neue Funktionen in den ursprünglichen Vorlagen in alle Datenzielzoneninstanzen repliziert werden. Die Betriebsteams können ursprüngliche Vorlagenänderungen in ihre Verzweigung ziehen.
Der Onboardingprozess ist vom Bereitstellungsprozess der Datenzielzone getrennt. Diese Trennung basiert auf der Annahme, dass die meisten Unternehmen im Rahmen ihres Cloudbetriebsmodells über einen Standardbereitstellungsprozess für Azure-Abonnements verfügen. Der Onboardingprozess stellt Standardkomponenten des Unternehmens bereit (z. B. mithilfe eines IT-Service-Management-Tools eines Drittanbieters). Als Nächstes werden datenzielzonenspezifische Komponenten bereitgestellt.
In der vorgeschlagenen Automatisierungslösung sind keine Git-APIs zum Klonen/Aktualisieren/Committen/Pushen verfügbar. Unser Ansatz besteht also darin, ein Azure Automation-Konto zu verwenden, das PowerShell-Runbooks enthält, die:
- Eine Datenzielzone einrichten
- Das Haupt-Repository in ein Git-Repository für die Datenplattform verzweigen
- Einrichten der Subnetzkonfigurationen für die Datenzielzone
- Einrichten von Microsoft Entra ID
Die Runbooks verwenden Git-Funktionen aus dem GitAutomation PowerShell-Modul für die Arbeit mit Git-Repositorys. Durch die Installation dieses Moduls in einem Azure Automation-Konto können Benutzer Vorgänge zum Erstellen, Klonen, Abfragen, Pushen, Pullen und Committen in Git-Repositorys ausführen. Die folgende Abbildung zeigt das GitAutomation-Modul, das in einem Azure Automation-Konto installiert ist:
Verwenden Sie die Copy-GitRepository-Funktion im GitAutomation-Modul, um das Git-Hauptrepository aus der URL, die von URL angegeben wird, bis zum Git-Pfad der Datenplattform, der von DestinationPath angegeben wird, zu klonen.
Dieser Ansatz für die Bereitstellung von Datenzielzonen ist flexibel und stellt gleichzeitig sicher, dass Aktionen den Anforderungen der Organisation entsprechen. Die Lebenszyklusverwaltung wird aktiviert, indem neue Features oder Optimierungen aus den ursprünglichen Vorlagen angewendet werden.
Bereitstellungsprozess für Datenanwendungen
Nach der Erstellung einer Datenzielzone kann das Onboarding für die Datenanwendungsteams beginnen. Die Betriebsteams der Datenplattform oder Datenzielzone erteilen die Bereitstellungsgenehmigung.
Die Bereitstellung erfolgt entweder direkt mit den DevOps-Tools oder über Pipelines/Workflows, die als APIs verfügbar gemacht werden. Ähnlich wie bei der Datenzielzone beginnt die Bereitstellung mit dem Forken des Repositorys der ursprünglichen Datenanwendung.
- Der Benutzer fordert neue Datenanwendungsdienste an.
- Der Workflowprozess fordert die Genehmigung vom Betriebsteam der Datenplattform oder der Datenzielzone an.
- Der Workflow ruft die IT-Service-Management-API auf, um erforderliche Ressourcengruppen und eine Azure DevOps-Dienstverbindung zu erstellen. Der Workflow weist dem Azure DevOps-Projekt ein Team zu.
- Der Workflow forkt die ursprüngliche Datenanwendung, um das Azure DevOps-Zielprojekt zu erstellen.
- Der Workflow erstellt eine Azure Resource Manager-Vorlagenparameterdatei und Pipelines.
- Danach werden zwei Azure-Pipelines gestartet: eine, um die erforderlichen Netzwerkkomponenten zu erstellen, und eine weitere, um die Datenanwendungsdienste bereitzustellen.
- Der Workflow benachrichtigt den Benutzer über den Abschluss.
Tipp
Wenn Sie DataOps noch nicht kennen, sollten Sie sich im Azure Architecture Center die praktische Übung DataOps für das moderne Data Warehouse ansehen. Das Szenario des Labs beschreibt, wie ein fiktives Stadtplanungsamt diese Bereitstellungslösung nutzen kann. Die Bereitstellung bietet eine lückenlose Datenpipeline, die dem Architekturmuster für moderne Data Warehouses folgt, zusammen mit den entsprechenden DevOps- und DataOps-Prozessen, um die Nutzung von Parkplätzen zu bewerten und fundierte Geschäftsentscheidungen zu treffen.
Zusammenfassung
Die oben genannten Muster bieten Kontrolle, Agilität, Self-Service und Lebenszyklusverwaltung von Richtlinien.
Zu Beginn des Projekts verfügt die Datenplattform über ein Azure DevOps-Projekt mit mindestens einem Azure Board. Einzelne DevOps-Teams konzentrieren sich auf:
- Ein Repository für die Datenverwaltungszielzone, Pipelines und eine Dienstverbindung mit der Cloudumgebung.
- Ein Vorlagen-Repository für die Datenzielzone, Pipelines zum Bereitstellen einer Datenzielzoneninstanz und Dienstverbindungen mit Cloudumgebungen.
- Ein Vorlagen-Repository für Datenproduktdienste, Pipelines zum Bereitstellen einer Datenproduktinstanz und Dienstverbindungen mit Cloudumgebungen. Diese Verbindungen werden aus der Datenzielzone der Azure DevOps Projects abgezweigt.
Nachdem Datenzielzonen erstellt wurden, wird für Analysen auf Cloudebene Folgendes vorgeschrieben:
- Jede Datenzielzone verfügt über ein eigenes Azure DevOps-Projekt mit mindestens einem Azure Board.
- Für jede Datenanwendung wird nach der Genehmigung der Anforderung der Fork des Azure DevOps-Projekts für die Datenzielzone erstellt.
- Jede Datenanwendung umfasst Folgendes:
- Eine Dienstverbindung.
- Eine registrierte Pipeline.
- Ein DevOps-Team mit Zugriff auf sein Azure-Board und -Repository.
- Ein anderer Satz von Richtlinien für das abgezweigte Repository.
Halten Sie sich an Folgendes, um die Bereitstellung von Datenanwendungen zu steuern:
- Das Betriebsteam der Datenzielzone besitzt und sichert die Haupt-Repository-Verzweigung.
- Nur die Hauptverzweigung wird für die Bereitstellung in Test- und Produktionsumgebungen verwendet.
- Die Funktionsverzweigungen können in Entwicklungsumgebungen bereitgestellt werden.
- Die Funktionsverzweigungen befinden sich im Besitz der DataOps-Teams. Sie werden verwendet, um neue oder geänderte Funktionen zu testen.
- Die DataOps-Teams können Funktionsverzweigungen ohne Genehmigung in anderen Funktionsverzweigungen zusammenführen.
- Die DataOps-Teams erstellen eine Pull-Anforderung zum Zusammenführen von Funktionsverzweigungen in der Hauptverzweigung. Das Betriebsteam der Datenzielzone erteilt die Genehmigung dafür.
- Neue Funktionen oder Verbesserungen an den ursprünglichen Vorlagen werden in das abgezweigte Repository zusammengeführt, um sie auf dem neuesten Stand zu halten.