Konfigurieren einer Firewall für serverlosen Computezugriff

In diesem Artikel wird beschrieben, wie Sie eine Azure-Speicherfirewall für die serverlose Berechnung mithilfe der Azure Databricks-Kontokonsolen-Benutzeroberfläche konfigurieren. Sie können auch die Netzwerkkonnektivitätskonfigurations-APIverwenden.

Informationen zum Konfigurieren eines privaten Endpunkts für den serverlosen Computezugriff finden Sie unter Konfigurieren der privaten Konnektivität von serverlosem Compute.

Wichtig

Ab dem 4. Dezember 2024 beginnt Databricks mit dem Aufladen von Netzwerkkosten für serverlose Workloads, die eine Verbindung mit externen Ressourcen herstellen. Die Abrechnung wird schrittweise implementiert, und Sie werden möglicherweise erst nach dem 4. Dezember 2024 in Rechnung gestellt. Sie werden nicht rückwirkend für die Nutzung belastet, bevor die Abrechnung aktiviert ist. Nachdem die Abrechnung aktiviert wurde, können Sie folgende Kosten in Rechnung stellen:

• Private Konnektivität mit Ihren Ressourcen über private Verknüpfungen. Datenverarbeitungsgebühren für private Verbindungen mit Ihren Ressourcen über private Verknüpfungen werden unbegrenzt aufgehoben. Pro Stunde fallen Gebühren an.
• Öffentliche Konnektivität mit Ihren Ressourcen über das NAT-Gateway.
• Anfallende Datenübertragungsgebühren, z. B. beim serverlosen Berechnen und der Zielressource, befinden sich in verschiedenen Regionen.

Übersicht über die Firewallaktivierung für serverlose Berechnung

Serverlose Netzwerkkonnektivität wird mit Netzwerkkonnektivitätskonfigurations-Objekten (Network Connectivity Configuration, NCCs) verwaltet. Kontoadministratoren erstellen NCCs in der Kontokonsole, und ein NCC kann an einen oder mehrere Arbeitsbereiche angefügt werden

Ein NCC enthält eine Liste von Netzwerkidentitäten für einen Azure-Ressourcentyp als Standardregeln. Wenn ein NCC-Objekt an einen Arbeitsbereich angefügt ist, verwendet das serverlose Computing in diesem Arbeitsbereich eines dieser Netzwerke, um die Azure-Ressource zu verbinden. Sie können diese Netzwerke in Ihrer Azure-Ressourcenfirewall auf die Positivliste setzen. Wenn Sie über nicht speicherfreie Azure-Ressourcenfirewalls verfügen, wenden Sie sich an Ihr Kontoteam, um Informationen zur Verwendung von stabilen Azure Databricks NAT-IPs zu erhalten.

Die Aktivierung der NCC-Firewall wird von serverlosen SQL-Warehouses, Aufträgen, Notebooks, Delta Live Tables-Pipelines und CPU-Endpunkten für die Modellbereitstellung unterstützt.

Sie können optional den Netzwerkzugriff auf das Speicherkonto des Arbeitsbereichs so konfigurieren, dass der Zugriff nur über autorisierte Netzwerke (einschließlich serverlosem Computing) möglich ist. Weitere Informationen finden Sie unter Aktivieren der Firewallunterstützung für das Speicherkonto des Arbeitsbereichs. Wenn eine Netzwerkkonnektivitätskonfiguration an einen Arbeitsbereich angefügt wird, werden die Netzwerkregeln automatisch dem Azure-Speicherkonto für das Speicherkonto des Arbeitsbereichs hinzugefügt.

Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Kostenauswirkungen des regionsübergreifenden Speicherzugriffs

Die Firewall gilt nur, wenn sich die Azure-Ressourcen in derselben Region wie der Azure Databricks-Arbeitsbereich befinden. Beim regionsübergreifenden Datenverkehr über serverloses Computing in Azure Databricks leitet Azure Databricks den Datenverkehr über einen Azure NAT Gateway-Dienst weiter. Beispiel: Der Arbeitsbereich befindet sich in der Region USA, Osten und der ADLS-Speicher in der Region Europa, Westen.

Anforderungen

• Ihr Arbeitsbereich muss dem Premium-Tarif angehören.

• Sie müssen ein Azure Databricks-Kontoadministrator sein.

• Jede NCC kann an bis zu 50 Arbeitsbereiche angefügt werden.

• In jedem Azure Databricks-Konto können bis zu zehn NCCs pro Region vorhanden sein.

• Sie benötigen WRITE-Zugriff auf die Netzwerkregeln Ihres Azure-Speicherkontos.

Schritt 1: Erstellen einer Netzwerkkonnektivitätskonfiguration und Kopieren von Subnetz-IDs

Databricks empfiehlt, NCCs zwischen Arbeitsbereichen in derselben Geschäftseinheit und den Arbeitsbereichen freizugeben, die dieselben Konnektivitätseigenschaften aufweisen. Verwenden Sie beispielsweise separate NCCs, wenn einige Arbeitsbereiche die Speicherfirewall und andere den alternativen Ansatz von Private Link verwenden.

1. Melden Sie sich als Kontoadministrator*in bei der Kontokonsole an.
2. Klicken Sie in der Randleiste auf Cloudressourcen.
3. Klicken Sie auf Netzwerkkonnektivitätskonfigurationen.
4. Klicken Sie auf Netzwerkkonnektivitätskonfiguration hinzufügen.
5. Geben Sie einen Namen für das NCC ein.
6. Wählen Sie die Region aus. Diese muss mit Ihrer Arbeitsbereichsregion übereinstimmen.
7. Klicken Sie auf Hinzufügen.
8. Klicken Sie in der Liste der NCCs auf Ihre neue NCC.
9. Klicken Sie in Standardregeln unter Netzwerkidentitäten auf Alle anzeigen.
10. Klicken Sie im Dialog auf die Schaltfläche Subnetze kopieren.
11. Klicken Sie auf Schließen.

Schritt 2: Anfügen einer NCC an Arbeitsbereiche

Sie können eine NCC an bis zu 50 Arbeitsbereiche in derselben Region wie die NCC anfügen.

Informationen zur Verwendung der API zum Anfügen eines NCC an einen Arbeitsbereich finden Sie in der Kontoarbeitsbereichs-API.

1. Klicken Sie in der Randleiste der Kontokonsole auf Arbeitsbereiche.
2. Klicken Sie auf den Namen Ihres Arbeitsbereichs.
3. Klicken Sie auf Arbeitsbereich aktualisieren.
4. Wählen Sie im Feld "Netzwerkkonnektivitätskonfiguration " Ihren NCC aus. Sollte diese nicht sichtbar sein, vergewissern Sie sich, dass Sie dieselbe Azure-Region für den Arbeitsbereich und die NCC ausgewählt haben.
5. Klicken Sie auf Aktualisieren.
6. Warten Sie zehn Minuten, bis die Änderung wirksam wird.
7. Starten Sie alle laufenden serverlosen Computing-Ressourcen im Arbeitsbereich neu.

Wenn Sie dieses Feature zum Herstellen einer Verbindung mit dem Speicherkonto des Arbeitsbereichs verwenden, ist Ihre Konfiguration abgeschlossen. Die Netzwerkregeln werden dem Speicherkonto des Arbeitsbereichs automatisch hinzugefügt. Fahren Sie für zusätzliche Speicherkonten mit dem nächsten Schritt fort.

Schritt 3: Sperren Ihres Speicherkontos

Geben Sie den Zugriff auf das Azure-Speicherkonto lediglich für zugelassene Netzwerke frei, sofern Sie dies noch nicht getan haben. Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

Das Erstellen einer Speicherfirewall wirkt sich auch auf die Konnektivität von der klassischen Computeebene mit Ihren Ressourcen aus. Außerdem müssen Sie Netzwerkregeln hinzufügen, um über klassische Computeressourcen eine Verbindung mit Ihren Speicherkonten herzustellen.

1. Öffnen Sie das Azure-Portal.
2. Navigieren Sie zu Ihrem Speicherkonto für die Datenquelle.
3. Klicken Sie im linken Navigationsbereich auf Netzwerk.
4. Überprüfen Sie den Wert im Feld für Öffentlicher Netzwerkzugriff. Standardmäßig lautet der Wert Aus allen Netzwerken aktiviert. Ändern Sie diesen in Aus ausgewählten virtuellen Netzwerken und IP-Adressen aktiviert.

Schritt 4: Hinzufügen von Netzwerkregeln für Azure-Speicherkonten

Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

1. Fügen Sie eine Azure Storage-Konto-Netzwerkregel für jedes Subnetz hinzu. Dazu können Sie die Azure CLI, PowerShell, Terraform oder andere Automatisierungstools verwenden. Beachten Sie, dass dieser Schritt nicht auf der Benutzeroberfläche des Azure-Portals ausgeführt werden kann.

   Im folgenden Beispiel wird die Azure CLI verwendet:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Ersetzen von <sub> durch den Namen Ihres Azure-Abonnements für das Speicherkonto.
   • Ersetzen Sie <res> durch die Ressourcengruppe Ihres Speicherkontos.
   • Ersetzen von <account> durch den Namen Ihres Speicherkontos.
   • Ersetzen Sie <subnet> durch die ARM-Ressourcen-ID (resourceId) des Subnetzes für das serverlose Computing.

   Nachdem Sie alle Befehle ausgeführt haben, können Sie das Azure-Portal verwenden, um Ihr Speicherkonto anzuzeigen und zu überprüfen, dass in der Tabelle Virtuelle Netzwerke ein Eintrag vorhanden ist, der das neue Subnetz darstellt. Sie können die Netzwerkregeln jedoch nicht im Azure-Portal ändern.

   Tipp

   • Wenn Sie Netzwerkregeln für Speicherkonten hinzufügen, rufen Sie die neuesten Subnetze über die Netzwerkkonnektivitäts-API ab.
   • Vermeiden Sie es, NCC-Informationen lokal zu speichern.
   • Ignorieren Sie die Meldung „Unzureichende Berechtigungen“ in der Spalte „Endpunktstatus“ oder die Warnung unterhalb der Netzwerkliste. Diese geben lediglich an, dass Sie nicht über Leseberechtigungen für Azure Databricks-Subnetze verfügen. Das beeinträchtigt jedoch nicht die Fähigkeit eines serverlosen Azure Databricks-Subnetzes, sich mit Ihrem Azure-Speicher zu verbinden.

   

2. Wiederholen Sie diesen Befehl einmal für jedes Subnetz.

3. Navigieren Sie zu Networking in Ihrem Speicherkonto, um zu bestätigen, dass Ihr Speicherkonto diese Einstellungen aus dem Azure-Portal verwendet.

   Vergewissern Sie sich, dass der Zugriff auf öffentliche Netzwerke auf Aktiviert aus ausgewählten virtuellen Netzwerken und IP-Adressen und zulässigen Netzwerken im Abschnitt virtuelle Netzwerke eingestellt ist.