Bearbeiten

Teilen über

Azure Synapse Analytics für Zielzonen

Azure Synapse Analytics
Azure Private Link
Azure Data Lake Storage
Azure-Schlüsseltresor

Dieser Artikel bietet einen Architekturansatz, mit dem Sie Azure-Zielzonenabonnements für eine skalierbare Bereitstellung von Azure Synapse Analytics mit erhöhter Sicherheit vorbereiten können. Azure Synapse ist ein Unternehmensanalysedienst, der Data Warehousing, Big Data-Verarbeitung, Datenintegration und -verwaltung kombiniert.

In diesem Artikel wird davon ausgegangen, dass Sie die erforderliche Plattformumgebung zum effektiven Erstellen und Operationalisieren einer Zielzone bereits implementiert haben.

Apache®, Spark und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

Aufbau

Diagramm: Azure Synapse Analytics-Referenzarchitektur

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

  • Die Kernkomponente dieser Architektur ist Azure Synapse, ein einheitlicher Dienst, der eine Reihe von Funktionen bereitstellt, die von der Datenerfassung und -verarbeitung bis hin zur Datenbereitstellung und -analyse reichen. Azure Synapse in einem verwalteten virtuellen Netzwerk bietet Netzwerkisolation für den Arbeitsbereich. Durch Aktivieren des Datenexfiltrationsschutzes können Sie die ausgehende Konnektivität ausschließlich auf genehmigte Ziele beschränken.
  • Azure Synapse-Ressourcen, die Azure Integration Runtime und Spark-Pools im verwalteten virtuellen Netzwerk können mithilfe verwalteter privater Endpunkte eine Verbindung mit Azure Data Lake Storage, Azure Key Vault und anderen Azure-Datenspeichern mit erhöhter Sicherheit herstellen. Azure Synapse SQL-Pools, die außerhalb des verwalteten virtuellen Netzwerks gehostet werden, können über einen privaten Endpunkt im virtuellen Netzwerk des Unternehmens eine Verbindung mit Azure-Diensten herstellen.
  • Administratoren können über Azure-Richtlinien, die auf Verwaltungsgruppenebene auf Datenzielzonen angewendet werden, private Konnektivität mit dem Azure Synapse-Arbeitsbereich, Data Lake Storage, Key Vault, Log Analytics und anderen Datenspeichern erzwingen. Sie können auch den Datenexfiltrationsschutz aktivieren, um erhöhte Sicherheit für ausgehenden Datenverkehr bereitzustellen.
  • Benutzer greifen mithilfe eines Webbrowsers über ein eingeschränktes lokales Netzwerk über Private Link-Hubs für Azure Synapse auf Synapse Studio zu. Private Link-Hubs werden verwendet, um Synapse Studio über private Verbindungen mit erhöhter Sicherheit zu laden. Eine einzelne Private Link-Hubressource für Azure Synapse wird in einem Konnektivitätsabonnement mit einem privaten Endpunkt im virtuellen Hubnetzwerk bereitgestellt. Das virtuelle Hubnetzwerk ist über Azure ExpressRoute mit dem lokalen Netzwerk verbunden. Die Private Link-Hubressource kann verwendet werden, um über Synapse Studio eine private Verbindung mit allen Azure Synapse-Arbeitsbereichen herzustellen.
  • Technische Fachkräfte für Daten verwenden die in einer selbstgehosteten Integration Runtime ausgeführte Copy-Aktivität von Azure Synapse-Pipelines, um Daten zwischen einem Datenspeicher, der in einer lokalen Umgebung gehostet wird, und Clouddatenspeichern wie Data Lake Storage und SQL-Pools zu erfassen. Die lokale Umgebung ist über ExpressRoute mit dem virtuellen Hubnetzwerk in Azure verbunden.
  • Technische Fachkräfte für Daten verwenden die Azure Synapse-Datenflussaktivität und Spark-Pools, um Daten in Clouddatenspeichern zu transformieren, die über verwaltete private Endpunkte mit dem von Azure Synapse verwalteten virtuellen Netzwerk verbunden sind. Für Daten, die sich in der lokalen Umgebung befinden, erfordert die Transformation mit Spark-Pools Konnektivität über einen benutzerdefinierten Private Link-Dienst. Der benutzerdefinierte Private Link-Dienst verwendet NAT-VMs (Network Address Translation, Netzwerkadressenübersetzung), um eine Verbindung mit dem lokalen Datenspeicher herzustellen. Informationen zum Einrichten des Private Link-Diensts für den Zugriff auf lokale Datenspeicher über ein verwaltetes virtuelles Netzwerk finden Sie unter Zugreifen auf eine lokale SQL Server-Instanz über ein verwaltetes Data Factory-VNet unter Verwendung eines privaten Endpunkts.
  • Wenn der Datenexfiltrationsschutz in Azure Synapse aktiviert ist, wird die Spark-Anwendungsprotokollierung im Log Analytics-Arbeitsbereich über eine Ressource für einen Azure Monitor-Private Link-Bereich weitergeleitet, die über einen verwalteten privaten Endpunkt mit dem von Azure Synapse verwalteten virtuellen Netzwerk verbunden ist. Wie im Diagramm dargestellt, wird eine einzelne Ressource für einen Azure Monitor-Private Link-Bereich in einem Konnektivitätsabonnement mit privatem Endpunkt im virtuellen Hubnetzwerk gehostet. Alle Log Analytics-Arbeitsbereiche und Application Insights-Ressourcen sind über den Azure Monitor-Private Link-Bereich über eine private Verbindung erreichbar.

Komponenten

  • Azure Synapse Analytics ist ein Unternehmensanalysedienst zur schnelleren Gewinnung von Erkenntnissen aus Data Warehouse-Datenbanken und Big Data-Systemen.
  • Ein von Azure Synapse verwaltetes virtuelles Netzwerk bietet Netzwerkisolation zwischen Azure Synapse-Arbeitsbereichen und anderen Arbeitsbereichen.
  • Von Azure Synapse verwaltete private Endpunkte sind private Endpunkte, die in einem verwalteten virtuellen Netzwerk erstellt werden, das einem Azure Synapse-Arbeitsbereich zugeordnet ist. Verwaltete private Endpunkte stellen Private Link-Konnektivität mit Azure-Ressourcen außerhalb des verwalteten virtuellen Netzwerks her.
  • Ein Azure Synapse-Arbeitsbereich mit Datenexfiltrationsschutz verhindert die Exfiltration vertraulicher Daten an Speicherorte außerhalb des Bereichs einer Organisation.
  • Azure Private Link-Hubs sind Azure-Ressourcen, die als Connectors zwischen Ihrem geschützten Netzwerk und der Synapse Studio-Webbenutzeroberfläche dienen.
  • Die Integration Runtime ist die Computeinfrastruktur, die von Azure Synapse-Pipelines verwendet wird, um Datenintegrationsfunktionen in verschiedenen Netzwerkumgebungen bereitzustellen. Führen Sie die Datenflussaktivität in der verwalteten Azure Compute-Integration Runtime oder die Copy-Aktivität netzwerkübergreifend mithilfe einer selbstgehosteten Compute-Integration Runtime aus.
  • Azure Private Link bietet privaten Zugriff auf Dienste, die in Azure gehostet werden. Der Azure Private Link-Dienst ist der Verweis auf Ihren eigenen Dienst, der von Private Link unterstützt wird. Sie können den Private Link-Zugriff für Ihren Dienst aktivieren, der mit Azure Load Balancer Standard ausgeführt wird. Anschließend können Sie den Private Link-Dienst über den verwalteten privaten Endpunkt auf das von Azure Synapse verwaltete virtuelle Netzwerk erweitern.
  • Apache Spark in Azure Synapse ist eine von mehreren cloudbasierten Apache Spark-Implementierungen von Microsoft. Azure Synapse vereinfacht das Erstellen und Konfigurieren von Spark-Funktionen in Azure.
  • Data Lake Storage verwendet Azure Storage als Grundlage für das Erstellen von Data Lakes des Unternehmens in Azure.
  • Key Vault ermöglicht Ihnen das Speichern von Geheimnissen, Schlüsseln und Zertifikaten mit erhöhter Sicherheit.
  • Azure-Zielzonen sind das Ergebnis einer Azure-Umgebung mit mehreren Abonnements, in der Aspekte wie Skalierung, Sicherheit, Governance, Netzwerk und Identität berücksichtigt werden. Eine Zielzone ermöglicht die Migration sowie die Modernisierung und Innovation auf Unternehmensniveau in Azure.

Szenariodetails

Dieser Artikel bietet einen Ansatz, mit dem Sie Azure-Zielzonenabonnements für eine skalierbare Bereitstellung von Azure Synapse mit erhöhter Sicherheit vorbereiten können. Die Lösung entspricht den bewährten Methoden des Cloud Adoption Framework für Azure, und im Vordergrund stehen die Entwurfsrichtlinien für Zielzonen auf Unternehmensebene.

Viele große Organisationen mit dezentralisierten, autonomen Geschäftseinheiten möchten Analysen und Data Science-Lösungen im großen Stil einführen. Die Schaffung der richtigen Grundlage ist dabei entscheidend. Azure Synapse und Data Lake Storage sind die zentralen Komponenten für die Implementierung von Analysen auf Cloudebene und einer Datengitterarchitektur.

Dieser Artikel enthält Empfehlungen für die Bereitstellung von Azure Synapse in Verwaltungsgruppen, Abonnementtopologie, Netzwerk, Identität und Sicherheit.

Mit dieser Lösung können Sie Folgendes erreichen:

  • Eine gut verwaltete Analyseplattform mit erhöhter Sicherheit, die entsprechend Ihren Anforderungen über mehrere Datenzielzonen hinweg skaliert werden kann.
  • Reduktion des operativen Aufwands für Datenanwendungsteams. Sie können sich auf die Datentechnik und Analysen konzentrieren und die Verwaltung der Azure Synapse-Plattform dem Betriebsteam für Datenzielzonen überlassen.
  • Zentralisierte Konformitätserzwingung für Datenzielzonen in der Organisation.

Mögliche Anwendungsfälle

Diese Architektur ist für Organisationen hilfreich, die Folgendes benötigen:

  • Eine vollständig integrierte und funktionsfähige Steuerungs- und Datenebene für Azure Synapse-Workloads von Anfang an.
  • Eine Implementierung von Azure Synapse mit erhöhter Sicherheit und Schwerpunkt auf Datensicherheit sowie Datenschutz.

Diese Architektur kann als Ausgangspunkt für umfangreiche Bereitstellungen von Azure Synapse-Workloads in Datenzielzonenabonnements dienen.

Abonnementtopologie

Organisationen, die umfangreiche Daten- und Analyseplattformen erstellen, suchen nach Wegen, die ihnen eine konsistente und effiziente Skalierung im Laufe der Zeit ermöglichen.

  • Indem sie Abonnements als Skalierungseinheit für Datenzielzonen verwenden, können Organisationen Einschränkungen auf Abonnementebene überwinden, eine ordnungsgemäße Isolation und Zugriffsverwaltung sicherstellen sowie zukünftiges Wachstum entsprechend dem Speicherbedarf der Datenplattform flexibel unterstützen. Innerhalb einer Datenzielzone können Sie Azure Synapse- und andere Datenressourcen für spezifische Anwendungsfälle für Analysen innerhalb einer Ressourcengruppe gruppieren.
  • Die Einrichtung der Verwaltungsgruppe und des Abonnements liegt in der Verantwortung des Besitzers der Zielzonenplattform, der Datenplattformadministratoren den erforderlichen Zugriff zum Bereitstellen von Azure Synapse und anderen Diensten gewährt.
  • Alle organisationsweiten Richtlinien zur Datenkonformität werden auf Verwaltungsgruppenebene angewendet, um die Konformität für die Datenzielzonen zu erzwingen.

Netzwerktopologie

Empfehlungen für Zielzonen, die die Virtual WAN-Netzwerktopologie (Hub-and-Spoke) verwenden, finden Sie unter Virtual WAN-Netzwerktopologie. Diese Empfehlungen entsprechen den bewährten Methoden des Cloud Adoption Framework.

Im Folgenden finden Sie einige Empfehlungen für die Azure Synapse-Netzwerktopologie:

  • Implementieren Sie die Netzwerkisolation für Azure Synapse-Ressourcen über das verwaltete virtuelle Netzwerk. Implementieren Sie den Datenexfiltrationsschutz, indem Sie den ausgehenden Zugriff auf genehmigte Ziele beschränken.

  • Konfigurieren Sie private Konnektivität für Folgendes:

    • Azure-Dienste wie Data Lake Storage, Key Vault und Azure SQL über verwaltete private Endpunkte.
    • Lokale Datenspeicher und Anwendungen über ExpressRoute über eine selbstgehostete Integration Runtime. Verwenden Sie den benutzerdefinierten Private Link-Dienst, um Spark-Ressourcen mit lokalen Datenspeichern zu verbinden, wenn Sie keine selbstgehostete Integration Runtime verwenden können.
    • Synapse Studio über Private Link-Hubs, die in einem Konnektivitätsabonnement bereitgestellt werden.
    • Log Analytics-Arbeitsbereich über einen Azure Monitor-Private Link-Bereich, der in einem Konnektivitätsabonnement bereitgestellt wird.

Identitäts- und Zugriffsverwaltung

Unternehmen verwenden in der Regel einen Ansatz mit den geringsten Rechten für den operativen Zugriff. Sie verwenden Microsoft Entra ID, die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) in Azure und benutzerdefinierte Rollendefinitionen für die Zugriffsverwaltung.

  • Implementieren Sie differenzierte Zugriffssteuerungen in Azure Synapse, indem Sie Azure-Rollen, Azure Synapse-Rollen, SQL-Rollen und Git-Berechtigungen verwenden. Weitere Informationen zur Zugriffssteuerung für Azure Synapse-Arbeitsbereiche finden Sie in dieser Übersicht.
  • Azure Synapse-Rollen bieten Berechtigungssätze, die Sie auf verschiedene Bereiche anwenden können. Dank dieser Granularität ist es ganz einfach, Administratoren, Entwicklern, Sicherheitspersonal und Operatoren den entsprechenden Zugriff auf Computeressourcen und Daten zu gewähren.
  • Sie können die Zugriffssteuerung mithilfe von Sicherheitsgruppen vereinfachen, die auf die Aufgabengebiete der Benutzer zugeschnitten sind. Zum Verwalten des Zugriffs müssen Sie lediglich den entsprechenden Sicherheitsgruppen Benutzer hinzufügen bzw. Benutzer aus ihnen entfernen.
  • Sie können die Kommunikation zwischen Azure Synapse und anderen Azure-Diensten wie Data Lake Storage und Key Vault schützen, indem Sie benutzerseitig zugewiesene verwaltete Identitäten verwenden. Dadurch entfällt die Notwendigkeit, Anmeldeinformationen zu verwalten. Verwaltete Identitäten stellen eine Identität bereit, die Anwendungen verwenden können, wenn sie eine Verbindung mit Ressourcen herstellen, die die Microsoft Entra-Authentifizierung unterstützen.

Anwendungsautomatisierung und DevOps

  • Continuous Integration und Continuous Delivery für einen Azure Synapse-Arbeitsbereich werden durch die Git-Integration und Höherstufung aller Entitäten von einer Umgebung (Entwicklung, Test, Produktion) zu einer anderen Umgebung erreicht.
  • Implementieren Sie die Automatisierung mit Bicep-/Azure Resource Manager-Vorlagen, um Arbeitsbereichsressourcen (Pools und Arbeitsbereich) zu erstellen oder zu aktualisieren. Migrieren Sie Artefakte wie SQL-Skripts und -Notebooks, Spark-Auftragsdefinitionen, Pipelines und Datasets sowie andere Artefakte mithilfe der Tools zur Bereitstellung von Synapse-Arbeitsbereichen in Azure DevOps oder auf GitHub wie unter Kontinuierliche Integration und Bereitstellung für einen Azure Synapse Analytics-Arbeitsbereich beschrieben.

Überlegungen

Diese Überlegungen setzen die Säulen des Azure Well-Architected Framework um, das aus einer Reihe von Leitprinzipien besteht, die zur Verbesserung der Qualität einer Workload verwendet werden können. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit stellt sicher, dass die Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie in der Überblick über die Säule „Zuverlässigkeit“.

  • Azure Synapse, Data Lake Storage und Key Vault sind verwaltete PaaS-Dienste (Platform-as-a-Service), die über integrierte Hochverfügbarkeit und Resilienz verfügen. Sie können redundante Knoten verwenden, um die selbstgehostete Integration Runtime und NAT-VMs in der Architektur hochverfügbar zu machen.
  • Informationen zum Vertrag zum Servicelevel (Service-Level Agreement, SLA) finden Sie unter SLA für Azure Synapse Analytics.
  • Empfehlungen für Business Continuity & Disaster Recovery (Geschäftskontinuität und Notfallwiederherstellung) für Azure Synapse finden Sie unter Datenbankwiederherstellungspunkte für Azure Synapse Analytics.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Übersicht über die Säule „Sicherheit“.

Kostenoptimierung

Bei der Kostenoptimierung geht es darum, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Säule „Kostenoptimierung“.

  • Die Analyseressourcen werden in Data Warehouse-Einheiten (Data Warehouse Units, DWUs) gemessen. Dabei werden CPU-, Arbeitsspeicher- und E/A-Ressourcen nachverfolgt. Wir empfehlen, mit kleineren DWUs zu beginnen und die Leistung für ressourcenintensive Vorgänge (z. B. aufwendige Lade- oder Transformationsvorgänge) zu messen. So können Sie ermitteln, wie viele Einheiten Sie zum Optimieren Ihrer Workload benötigen.
  • Sparen Sie mit Preisen für die nutzungsbasierter Bezahlung Geld, indem Sie vorab erworbene Azure Synapse-Commit-Einheiten (SCUs) verwenden.
  • Informationen zu den Preisoptionen und den geschätzten Kosten für die Implementierung von Azure Synapse finden Sie unter Azure Synapse Analytics – Preise.
  • Diese Preisschätzung umfasst die Kosten für die Bereitstellung von Diensten mithilfe der im nächsten Abschnitt beschriebenen Automatisierungsschritte.

Bereitstellen dieses Szenarios

Voraussetzungen: Sie benötigen ein Azure-Konto. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

Der gesamte Code für dieses Szenario ist im Repository „SynapseEnterpriseCodebase“ auf GitHub verfügbar.

Bei der automatisierten Bereitstellung werden Bicep-Vorlagen verwendet, um die folgenden Komponenten bereitzustellen:

  • Eine Ressourcengruppe
  • Ein virtuelles Netzwerk und Subnetze
  • Speicherebenen (Bronze, Silver und Gold) mit privaten Endpunkten
  • Ein Azure Synapse-Arbeitsbereich mit einem verwalteten virtuellen Netzwerk
  • Private Link-Dienst und -Endpunkte
  • Lastenausgleich und NAT-VMs
  • Eine selbstgehostete Integration Runtime-Ressource

Ein PowerShell-Skript zum Orchestrieren der Bereitstellung ist im Repository verfügbar. Sie können das PowerShell-Skript ausführen oder die Datei pipeline.yml verwenden, um es als Pipeline in Azure DevOps bereitzustellen.

Weitere Informationen zu den Bicep-Vorlagen, Bereitstellungsschritten und Voraussetzungen finden Sie in der Infodatei.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautoren:

Andere Mitwirkende:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte

Weitere Informationen zu den in diesem Artikel beschriebenen Diensten finden Sie in den folgenden Ressourcen: