Planen der Netzwerkisolation in Azure Machine Learning
In diesem Artikel erfahren Sie, wie Sie Ihre Netzwerkisolation für Azure Machine Learning planen und lernen unsere Empfehlungen kennen. Dies ist ein Artikel für IT-Administratoren, die eine Netzwerkarchitektur entwerfen möchten.
Was ist Netzwerkisolation?
Netzwerkisolation ist eine Sicherheitsstrategie, bei der ein Netzwerk in separate Segmente oder Subnetze unterteilt wird, die jeweils als eigenes kleines Netzwerk funktionieren. Dieser Ansatz trägt dazu bei, die Sicherheit und Leistung innerhalb einer größeren Netzwerkstruktur zu verbessern. Große Unternehmen benötigen Netzwerkisolation, um ihre Ressourcen vor unbefugtem Zugriff, Manipulationen oder Lecks von Daten und Modellen zu schützen. Sie müssen ebenfalls die für ihre Branche und Domäne geltenden Vorschriften und Standards einhalten.
Eingehender und ausgehender Zugriff
In Azure Machine Learning muss Netzwerkisolation in drei Bereichen berücksichtigt werden:
- Eingehender Zugriff auf den Azure Machine Learning-Arbeitsbereich. Beispiel: Für den sicheren Zugriff auf den Arbeitsbereich durch Ihre wissenschaftliche Fachkräfte für Daten
- Ausgehender Zugriff vom Azure Machine Learning-Arbeitsbereich. Beispiel: Für den Zugriff auf weitere Azure-Dienste
- Ausgehender Zugriff von den Azure Machine Learning-Computeressourcen. Beispiel: Für den Zugriff auf Datenquellen, Python-Paketrepositorys oder weitere Ressourcen
Das folgende Diagramm veranschaulicht die eingehende und ausgehende Kommunikation.
Eingehender Zugriff auf Azure Machine Learning
Der eingehende Zugriff auf einen geschützten Azure Machine Learning-Arbeitsbereich wird mithilfe des PNA-Flags (Public Network Access, Zugriff auf öffentliche Netzwerke) festgelegt. Die Einstellung des PNA-Flags legt fest, ob Ihr Arbeitsbereich für den Zugriff auf den Arbeitsbereich einen privaten Endpunkt benötigt. Es gibt eine zusätzliche Einstellung, die zwischen „Öffentlich“ und „Privat“ liegt: „Aktiviert von ausgewählten IP-Adressen“. Diese Einstellung ermöglicht den Zugriff auf Ihren Arbeitsbereich über die von Ihnen angegebenen IP-Adressen. Weitere Informationen zu diesem Feature finden Sie unter Aktivieren des öffentlichen Zugriffs nur von Internet-IP-Bereichen.
Ausgehender Zugriff
Die Netzwerkisolation von Azure Machine Learning umfasst sowohl PaaS (Platform-as-a-Service)-Komponenten als auch IaaS (Infrastructure-as-a-Service)-Komponenten. PaaS-Dienste wie Azure Machine Learning-Arbeitsbereich, -Speicher, -Schlüsseltresor, -Containerregistrierung und -Monitor können mithilfe von Private Link isoliert werden. IaaS-Computingdienste, z. B. Compute-Instanzen/Cluster für KI-Modelltraining und Azure Kubernetes Service (AKS) oder verwaltete Onlineendpunkte für die KI-Modellbewertung, können in Ihr virtuelles Netzwerk injiziert werden und mit PaaS-Diensten über Private Link kommunizieren. Bei dem folgenden Diagramm handelt es sich um ein Beispiel für IaaS- und PaaS-Komponenten.
Ausgehender Zugriff vom Dienst auf weitere PaaS-Ressourcen in Azure
Der Schutz des ausgehenden Zugriffs von Ihrem Azure Machine Learning-Dienst auf weitere PaaS-Dienste wird über vertrauenswürdige Dienste abgeschlossen. Sie können einer Teilmenge vertrauenswürdiger Azure-Dienste Zugriff auf Azure Machine Learning gewähren und gleichzeitig Netzwerkregeln für weitere Apps verwalten. Diese vertrauenswürdigen Dienste verwenden eine verwaltete Identität, um Ihren Azure Machine Learning-Dienst zu authentifizieren.
Ausgehender Zugriff von Computeressourcen auf das Internet und weitere PaaS-Ressourcen in Azure
IaaS-Komponenten sind Computeressourcen wie Computeinstanzen bzw. -cluster und Azure Kubernetes Service (AKS) oder verwaltete Onlineendpunkte. Für diese IaaS-Ressourcen wird der ausgehende Zugriff auf das Internet über eine Firewall geschützt, und der ausgehende Zugriff auf weitere PaaS-Ressourcen wird durch Private Link und private Endpunkte geschützt. Ein verwaltetes virtuelles Netzwerk ermöglicht die einfachere Einrichtung der Steuerung für den ausgehenden Zugriff von Computeressourcen.
Wenn Sie kein verwaltetes virtuelles Netzwerk verwenden, kann die Steuerung für den ausgehenden Zugriff durch Ihr eigenes virtuelles Netzwerk und Subnetz geschützt werden. Wenn Sie über ein eigenständiges virtuelles Netzwerk verfügen, ist die Konfiguration mithilfe einer Netzwerksicherheitsgruppe ganz einfach. Möglicherweise verfügen Sie jedoch über eine Hub-Spoke- oder Peermesh-Netzwerkarchitektur, eine Firewall, ein virtuelles Netzwerkgerät, einen Proxy und ein benutzerdefiniertes Routing. Stellen Sie in beiden Fällen sicher, dass Sie den ein- und ausgehenden Datenverkehr mit Ihren Netzwerksicherheitskomponenten zulassen.
In diesem Diagramm verfügen Sie über eine Hub- und eine Spoke-Netzwerkarchitektur. Das virtuelle Spokenetzwerk verfügt über Ressourcen für Azure Machine Learning. Das virtuelle Hubnetzwerk verfügt über eine Firewall, die den ausgehenden Zugriff auf das Internet von Ihren virtuellen Netzwerken steuert. In diesem Fall muss Ihre Firewall den ausgehenden Zugriff zulassen, und Ihre Computeressourcen im virtuellen Spokenetzwerk müssen Ihre Firewall erreichen können.
Tipp
Im Diagramm sind die Compute-Instanz und der Computecluster für „keine öffentliche IP-Adresse“ konfiguriert. Wenn Sie stattdessen eine Compute-Instanz oder einen Cluster mit öffentlicher IP-Adresse verwenden, müssen Sie eingehenden Datenverkehr aus dem Azure Machine Learning-Diensttag mithilfe einer Netzwerksicherheitsgruppe (NSG) und benutzerdefiniertem Routing zulassen, um Ihre Firewall zu überspringen. Dieser eingehende Datenverkehr würde von einem Microsoft-Dienst (Azure Machine Learning) stammen. Es wird jedoch empfohlen, die Option „keine öffentliche IP-Adresse“ zu verwenden, um diese Anforderung für eingehenden Datenverkehr zu entfernen.
Angebote für Netzwerkisolation für den ausgehenden Zugriff von Computeressourcen
Nachdem veranschaulicht wurde, welcher Zugriff geschützt werden muss, wird nun veranschaulicht, wie der Machine Learning-Arbeitsbereich mit Netzwerkisolation geschützt werden kann. Azure Machine Learning bietet Optionen für die Netzwerkisolation für den ausgehenden Zugriff von Computerressourcen.
Verwaltete Netzwerkisolation (empfohlen)
Ein verwaltetes virtuelles Netzwerks ermöglicht eine einfachere Konfiguration für Netzwerkisolation. Es schützt Ihren Arbeitsbereich automatisch und verwaltet Computeressourcen in einem verwalteten virtuellen Netzwerk. Sie können private Endpunktverbindungen für andere Azure-Dienste hinzufügen, auf denen der Arbeitsbereich basiert, z. B. Azure Storage-Konten. Je nach Ihren Anforderungen können Sie den gesamten ausgehenden Datenverkehr an das öffentliche Netzwerk oder nur den von Ihnen genehmigten ausgehenden Datenverkehr zulassen. Ausgehender Datenverkehr, der von Azure Machine Learning Service benötigt wird, wird automatisch für das verwaltete virtuelle Netzwerk ermöglicht. Wir empfehlen die Verwendung der vom Arbeitsbereich verwalteten Netzwerkisolation für eine integrierte, reibungslose Netzwerkisolationsmethode. Wir haben zwei Muster: Den Modus „Ausgehenden Internetdatenverkehr zulassen“ und den Modus„Nur genehmigte Ausgänge zulassen“.
Hinweis
Der Schutz Ihres Arbeitsbereichs mit einem verwalteten virtuellen Netzwerk ermöglicht eine Netzwerkisolation für den ausgehenden Zugriff vom Arbeitsbereich und von verwalteten Computeressourcen. Ein virtuelles Azure-Netzwerk, das Sie erstellen und verwalten, wird verwendet, um eingehenden Zugriff auf den Arbeitsbereich bereitzustellen. Beispielsweise wird ein privater Endpunkt für den Arbeitsbereich in Ihrem virtuellen Azure-Netzwerk erstellt. Alle Clients, die eine Verbindung mit dem virtuellen Netzwerk herstellen, können über den privaten Endpunkt auf den Arbeitsbereich zugreifen. Wenn Aufträge auf verwalteten Computerresources ausgeführt werden, schränkt das verwaltete Netzwerk den Zugriff der Computerresource ein. Diese Konfiguration unterscheidet sich von dem Angebot für benutzerdefinierte virtuellen Netzwerke, das außerdem das Festlegen eines virtuellen Netzwerks und das Festlegen aller Computeressourcen in dieses virtuelle Netzwerk erfordert.
Modus „Ausgehenden Zugriff auf das Internet zulassen“: Verwenden Sie diese Option, wenn Sie Ihren technischen Fachkräften für Machine Learning den Zugriff auf das Internet frei ermöglichen möchten. Sie können andere Ausgangsregeln für private Endpunkte erstellen, damit sie auf Ihre privaten Ressourcen in Azure zugreifen können.
Modus „Nur genehmigten ausgehenden Zugriff zulassen“: Verwenden Sie diese Option, wenn Sie das Risiko einer Datenexfiltration minimieren möchten und zudem steuern möchten, worauf Ihre technischen Fachkräfte für Machine Learning zugreifen können. Sie können Regeln für den ausgehenden Zugriff mithilfe eines privaten Endpunkts, eines Diensttags und FQDN steuern.
Benutzerdefinierte Netzwerkisolation
Wenn Sie über eine bestimmte Anforderung oder Unternehmensrichtlinie verfügen, die verhindert, dass Sie ein verwaltetes virtuelles Netzwerk verwenden, können Sie ein virtuelles Azure-Netzwerk für die Netzwerkisolation verwenden.
Im folgenden Diagramm wird die empfohlene Architektur dargestellt, um alle Ressourcen privat zu machen, aber den ausgehenden Internetzugriff über Ihr virtuelles Netzwerk zuzulassen. Dieses Diagramm beschreibt die folgende Architektur:
- Legen Sie alle Ressourcen in die gleiche Region.
- Ein virtuelles Hubnetzwerk, das Ihre Firewall und das benutzerdefinierte DNS-Setup enthält
- Ein virtuelles Spokenetzwerk, das die folgenden Ressourcen enthält:
- Ein Trainingssubnetz enthält Compute-Instanzen und Cluster, die zum Trainieren von ML-Modellen verwendet werden. Diese Ressourcen sind für „keine öffentliche IP-Adresse“ konfiguriert.
- Ein Bewertungssubnetz enthält einen AKS-Cluster.
- Ein „pe“-Subnetz enthält private Endpunkte, die eine Verbindung mit dem Arbeitsbereich und privaten Ressourcen herstellen, die vom Arbeitsbereich (Speicher, Schlüsseltresor, Containerregistrierung usw.) verwendet werden.
- Um Ihre verwalteten Onlineendpunkte mit einem benutzerdefinierten virtuellen Netzwerk zu schützen, aktivieren Sie das verwaltete virtuelle Netzwerk des verwalteten Legacyonlineendpunkts. Diese Methode wird NICHT empfohlen.
Diese Architektur sorgt für ein ausgewogenes Verhältnis zwischen Ihrer Netzwerksicherheit und der Produktivität Ihrer ML-Ingenieure.
Hinweis
Wenn Sie die Firewallanforderung entfernen möchten, können Sie Netzwerksicherheitsgruppen und Azure Virtual Network NAT verwenden, um den ausgehenden Zugriff auf das Internet von Ihren privaten Computeressourcen zuzulassen.
Verhinderung der Datenexfiltration
Dieses Diagramm zeigt die empfohlene Architektur, um alle Ressourcen privat zu machen und Ziele für ausgehenden Datenverkehr zu steuern, um die Datenexfiltration zu verhindern. Wir empfehlen diese Architektur, wenn Sie Azure Machine Learning mit Ihren vertraulichen Daten in der Produktion verwenden. Dieses Diagramm beschreibt die folgende Architektur:
- Legen Sie alle Ressourcen in die gleiche Region.
- Ein virtuelles Hubnetzwerk, das Ihre Firewall enthält
- Zusätzlich zu Diensttags verwendet die Firewall FQDNs, um die Datenexfiltration zu verhindern.
- Ein virtuelles Spokenetzwerk, das die folgenden Ressourcen enthält:
- Ein Trainingssubnetz enthält Compute-Instanzen und Cluster, die zum Trainieren von ML-Modellen verwendet werden. Diese Ressourcen sind für „keine öffentliche IP-Adresse“ konfiguriert. Darüber hinaus gibt es einen Dienstendpunkt und eine Dienstendpunktrichtlinie, um die Datenexfiltration zu verhindern.
- Ein Bewertungssubnetz enthält einen AKS-Cluster.
- Ein „pe“-Subnetz enthält private Endpunkte, die eine Verbindung mit dem Arbeitsbereich und privaten Ressourcen herstellen, die vom Arbeitsbereich (Speicher, Schlüsseltresor, Containerregistrierung usw.) verwendet werden.
- Verwaltete Onlineendpunkte verwenden den privaten Endpunkt des Arbeitsbereichs, um eingehende Anforderungen zu verarbeiten. Ein privater Endpunkt wird auch verwendet, um Bereitstellungen verwalteter Onlineendpunkte den Zugriff auf privaten Speicher zu ermöglichen.
Vergleich der Optionen für die Netzwerkisolation
Bei der verwalteten Netzwerkisolation und der benutzerdefinierten Netzwerkisolation handelt es sich um ähnliche Angebote. In der folgenden Tabelle werden alle Ähnlichkeiten und Unterschiede zwischen den beiden Angeboten hinsichtlich ihrer Einrichtung beschrieben. Der wichtigste Unterschied bei der Einrichtung besteht darin, wo das virtuelle Netzwerk für Computeressourcen selbst gehostet wird. Bei der benutzerdefinierten Netzwerkisolation befindet sich das virtuelle Netzwerk für Computeressourcen in Ihrem Mandanten, wohingegen sich das virtuelle Netzwerk für Computeressourcen bei der verwaltete Netzwerkisolation im Microsoft-Mandanten befindet.
| Ähnlichkeiten | Unterschiede |
|---|---|
| – Das Netzwerk ist für Sie bestimmt und wird nicht für andere Kunden freigegeben.
– Daten werden im virtuellen Netzwerk geschützt. – Vollständige Kontrolle über den ausgehenden Zugriff mit Regeln für den ausgehenden Datenverkehr – Erforderliche ServiceTags |
– Wo das virtuelle Netzwerk gehostet wird: bei der benutzerdefinierten Netzwerkisolation in Ihrem Mandanten oder bei der verwalteten Netzwerkisolation im Microsoft-Mandanten |
Um die richtige Entscheidung darüber zu treffen, welche Netzwerkeinrichtung für Ihr Szenario am besten geeignet ist, erwägen Sie, welche Features in Azure Machine Learning Sie verwenden möchten. Weitere Informationen zu den Unterschieden zwischen den Angeboten für Netzwerkisolation finden Sie unter Vergleichen von Netzwerkisolationskonfigurationen.
Vergleichen von Konfigurationen
| Verwaltetes Netzwerk (empfohlen) | Benutzerdefiniertes Netzwerk | |
|---|---|---|
| Vorteile | – Minimieren des Mehraufwands für Einrichtung und Wartung
– Unterstützung für verwaltete Onlineendpunkte – Unterstützung für serverlose Spark-Instanzen – Zugriff auf lokale HTTPs-Endpunktressourcen oder auf HTTPs-Endpunktressourcen in Ihrem benutzerdefinierten virtuellen Netzwerk – Fokus für die Entwicklung neuer Features |
– Anpassen des Netzwerks an Ihre Anforderungen
– Verwenden Ihrer eigenen Nicht-Azure-Ressourcen – Herstellen einer Verbindung mit lokalen Ressourcen |
| Einschränkungen | – Zusätzliche Kosten für Azure Firewall- und FQDN-Regeln
– Die Protokollierung der Firewall für virtuelle Netzwerke und der NSG-Regeln wird nicht unterstützt. – Der Zugriff auf Nicht-HTTPs-Endpunktressourcen wird nicht unterstützt. |
– Die Unterstützung neuer Features könnte sich verzögern.
– Verwaltete Onlineendpunkte werden nicht unterstützt. – Serverlose Spark-Instanzen werden nicht unterstützt. – Basismodelle werden nicht unterstützt. – MLFlow ohne Code wird nicht unterstützt. – Komplexität der Implementierung – Mehraufwand für die Wartung |
Verwenden eines öffentlichen Arbeitsbereichs
Sie können einen öffentlichen Arbeitsbereich verwenden, wenn Sie mit der Authentifizierung und Autorisierung über Microsoft Entra ID mit bedingtem Zugriff einverstanden sind. Ein öffentlicher Arbeitsbereich verfügt über einige Features, die die Verwendung von Daten in einem privaten Speicherkonto ermöglichen. Es wird empfohlen, nach Möglichkeit einen privaten Arbeitsbereich zu verwenden.
Wichtige Aspekte
DNS-Auflösung von Private Link-Ressourcen und -Anwendungen auf der Compute-Instanz
Wenn Sie über einen eigenen DNS-Server verfügen, der in Azure oder lokal gehostet wird, müssen Sie eine bedingte Weiterleitung auf Ihrem DNS-Server erstellen. Die bedingte Weiterleitung sendet DNS-Anforderungen an Azure DNS für alle PaaS-Dienste, die für Private Link aktiviert sind. Weitere Informationen finden Sie in den Artikeln DNS-Konfigurationsszenarien und Azure Machine Learning-spezifische DNS-Konfiguration.
Schutz vor Datenexfiltration
Wir haben zwei Arten von ausgehenden Datenverkehr: schreibgeschützt und lesen/schreiben. Böswillige Akteur können die schreibgeschützte Kommunikation nicht lesen, sie können jedoch die Kommunikation mit Lese-/Schreibzugriff lesen. Azure Storage und Azure Frontdoor (Diensttag frontdoor.frontend) weisen in diesem Fallen eine ausgehende Kommunikation mit Lese-/Schreibzugriff auf.
Sie können dieses Datenexfiltrationsrisiko mit unserer Lösung zur Verhinderung von Datenexfiltration minimieren. Wir verwenden eine Dienstendpunktrichtlinie mit einem Azure Machine Learning-Alias, um den ausgehenden Datenverkehr nur für verwaltete Azure Machine Learning-Speicherkonten zuzulassen. Sie müssen keinen ausgehenden Datenverkehr für Storage auf Ihrer Firewall öffnen.
In diesem Diagramm müssen die Compute-Instanz und der Cluster auf verwaltete Azure Machine Learning-Speicherkonten zugreifen können, um Setupskripts abzurufen. Anstatt den ausgehenden Datenverkehr zum Speicher zu öffnen, können Sie die Dienstendpunktrichtlinie mit dem Azure Machine Learning-Alias verwenden, um den Speicherzugriff nur auf Azure Machine Learning-Speicherkonten zuzulassen.
Verwaltete Onlineendpunkte
Die Sicherheit für ein- und ausgehende Kommunikation wird verwaltete Onlineendpunkte separat konfiguriert.
- Eingehende Kommunikation: Azure Machine Learning verwendet einen privaten Endpunkt, um eingehende Kommunikation mit einem verwalteten Onlineendpunkt zu schützen. Um den öffentlichen Zugriff auf einen Endpunkt zu verhindern, deaktivieren Sie das Flag public_network_access für den Endpunkt. Wenn diese Flag deaktiviert ist, kann nur über den privaten Endpunkt Ihres Azure Machine Learning Arbeitsbereichs auf Ihren Endpunkt zugegriffen werden, und er kann nicht über öffentliche Netzwerke erreicht werden.
- Ausgehende Kommunikation: Um ausgehende Kommunikation von einer Bereitstellung zu Ressourcen zu schützen, verwendet Azure Machine Learning ein verwaltetes virtuelles Netzwerk des Arbeitsbereichs. Die Bereitstellung muss im verwalteten virtuellen Netzwerk des Arbeitsbereichs erstellt werden, damit sie die privaten Endpunkte des verwalteten virtuellen Netzwerks des Arbeitsbereichs für die ausgehende Kommunikation verwenden kann.
Das folgende Architekturdiagramm zeigt, wie der Kommunikationsdatenverkehr über private Endpunkte zum verwalteten Onlineendpunkt fließt. Eingehende Bewertungsanforderungen vom virtuellen Netzwerk eines Clients fließen über den privaten Endpunkt des Arbeitsbereichs an den verwalteten Onlineendpunkt. Ausgehende Kommunikation zwischen Bereitstellungen und Diensten erfolgt über private Endpunkte vom verwalteten virtuellen Netzwerk des Arbeitsbereichs an diese Dienstinstanzen.
Weitere Informationen finden Sie unter Netzwerkisolation mit verwalteten Onlineendpunkten.
Mangel an privaten IP-Adressen in Ihrem Hauptnetzwerk
Azure Machine Learning erfordert private IP-Adressen. eine IP-Adresse pro Compute-Instanz, Computeclusterknoten und privatem Endpunkt. Sie benötigen auch viele IP-Adressen, wenn Sie AKS verwenden. Ihr Hub-Spoke-Netzwerk, das mit Ihrem lokalen Netzwerk verbunden ist, verfügt möglicherweise nicht über einen ausreichend großen privaten IP-Adressraum. In diesem Szenario können Sie isolierte VNets ohne Peering für Ihre Azure Machine Learning-Ressourcen verwenden.
In diesem Diagramm erfordert Ihr virtuelles Hauptnetzwerk die IP-Adressen für private Endpunkte. Sie können Hub-Spoke-VNets für mehrere Azure Machine Learning-Arbeitsbereiche mit großen Adressräumen verwenden. Ein Nachteil dieser Architektur ist die Verdoppelung der Anzahl der privaten Endpunkte.
Netzwerkrichtlinienerzwingung
Sie können integrierte Richtlinien verwenden, wenn Sie die Netzwerkisolationsparameter mit dem Self-Service-Arbeitsbereich und Computingressourcen steuern oder eine benutzerdefinierte Richtlinie für eine präzisere Steuerung erstellen möchten. Weitere Informationen zu Richtlinien finden Sie unter Kontrollen zur Einhaltung gesetzlicher Bestimmungen in Azure Policy.
Zugehöriger Inhalt
Weitere Informationen zur Verwendung eines verwalteten virtuellen Netzwerks finden Sie in den folgenden Artikeln:
- Verwaltete Netzwerkisolation
- Verwenden privater Endpunkte für den Zugriff auf Ihren Arbeitsbereich
- Verwenden von benutzerdefiniertem DNS
Weitere Informationen zur Verwendung eines benutzerdefinierten virtuellen Netzwerks finden Sie in den folgenden Artikeln: