Konfigurieren der privaten Konnektivität von serverlosem Compute

In diesem Artikel wird beschrieben, wie Sie private Konnektivität für serverloses Computing mithilfe der Azure Databricks-Kontokonsolen-Benutzeroberfläche konfigurieren. Sie können auch die Netzwerkkonnektivitätskonfigurations-API verwenden.

Wenn Sie Ihre Azure-Ressource so konfigurieren, dass nur Verbindungen von privaten Endpunkten akzeptiert werden, muss jede Verbindung mit der Ressource aus Ihren klassischen Databricks-Computeressourcen auch private Endpunkte verwenden.

Informationen zum Konfigurieren einer Azure Storage-Firewall für den Zugriff auf serverloses Computing mithilfe von Subnetzen finden Sie unter Konfigurieren einer Firewall für serverlosen Computezugriff. Informationen zum Verwalten vorhandener regeln privater Endpunkte finden Sie unter Verwalten privater Endpunktregeln.

Wichtig

Ab dem 4. Dezember 2024 beginnt Databricks mit dem Aufladen von Netzwerkkosten für serverlose Workloads, die eine Verbindung mit externen Ressourcen herstellen. Die Abrechnung wird schrittweise implementiert, und Sie werden möglicherweise erst nach dem 4. Dezember 2024 in Rechnung gestellt. Sie werden nicht rückwirkend für die Nutzung belastet, bevor die Abrechnung aktiviert ist. Nachdem die Abrechnung aktiviert wurde, können Sie folgende Kosten in Rechnung stellen:

• Private Konnektivität mit Ihren Ressourcen über private Verknüpfungen. Datenverarbeitungsgebühren für private Verbindungen mit Ihren Ressourcen über private Verknüpfungen werden unbegrenzt aufgehoben. Pro Stunde fallen Gebühren an.
• Öffentliche Konnektivität mit Ihren Ressourcen über das NAT-Gateway.
• Anfallende Datenübertragungsgebühren, z. B. beim serverlosen Berechnen und der Zielressource, befinden sich in verschiedenen Regionen.

Übersicht über die private Konnektivität für serverloses Computing

Serverlose Netzwerkkonnektivität wird mit Netzwerkkonnektivitätskonfigurations-Objekten (Network Connectivity Configuration, NCCs) verwaltet. Kontoadministratoren erstellen NCCs in der Kontokonsole, und ein NCC kann an einen oder mehrere Arbeitsbereiche angefügt werden

Wenn Sie einen privaten Endpunkt in einem NCC-Objekt hinzufügen, erstellt Azure Databricks eine Anforderung für einen privaten Endpunkt an Ihre Azure-Ressource. Sobald die Anforderung auf der Ressourcenseite akzeptiert wird, wird der private Endpunkt für den Zugriff auf Ressourcen aus der serverlosen Computeebene verwendet. Der private Endpunkt ist Ihrem Azure Databricks-Konto zugeordnet und nur über autorisierte Arbeitsbereiche zugänglich.

Private NCC-Endpunkte werden von SQL Warehouses, Aufträgen, Notizbüchern, Delta Live Tables und Modell unterstützt, die Endpunkte bedienen.

Hinweis

Private NCC-Endpunkte werden nur für von Ihnen verwaltete Datenquellen unterstützt. Wenden Sie sich für die Verbindung mit dem Arbeitsbereichspeicherkonto an Ihr Azure Databricks-Kontoteam.

Hinweis

Modellbereitstellung verwendet den Azure Blob Storage-Pfad zum Herunterladen von Modellartefakten. Erstellen Sie daher einen privaten Endpunkt für Ihr Subressourcen-ID-BLOB. Sie benötigen DFS, um Modelle im Unity-Katalog von serverlosen Notizbüchern abzumelden.

Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Anforderungen

• Ihr Arbeitsbereich muss dem Premium-Tarif angehören.
• Sie müssen ein Azure Databricks-Kontoadministrator sein.
• In jedem Azure Databricks-Konto können bis zu zehn NCCs pro Region vorhanden sein.
• Jede Region kann über 100 private Endpunkte verfügen, die nach Bedarf über 1-10 NCCs verteilt werden.
• Jede NCC kann an bis zu 50 Arbeitsbereiche angefügt werden.

Schritt 1: Erstellen einer Netzwerkkonnektivitätskonfiguration

Databricks empfiehlt, eine NCC zwischen Arbeitsbereichen in derselben Geschäftseinheit sowie den Arbeitsbereichen freizugeben, die dieselben regionalen Konnektivitätseigenschaften aufweisen. Verwenden Sie beispielsweise separate NCCs, wenn einige Arbeitsbereiche Private Link und andere Firewallaktivierung verwenden.

1. Melden Sie sich als Kontoadministrator*in bei der Kontokonsole an.
2. Klicken Sie in der Randleiste auf Cloudressourcen.
3. Klicken Sie auf Netzwerkkonnektivitätskonfigurationen.
4. Klicken Sie auf "Netzwerkkonnektivitätskonfiguration hinzufügen".
5. Geben Sie einen Namen für das NCC ein.
6. Wählen Sie die Region aus. Diese muss mit Ihrer Arbeitsbereichsregion übereinstimmen.
7. Klicken Sie auf Hinzufügen.

Schritt 2: Anfügen einer NCC an einen Arbeitsbereich

1. Klicken Sie in der Randleiste der Kontokonsole auf Arbeitsbereiche.
2. Klicken Sie auf den Namen Ihres Arbeitsbereichs.
3. Klicken Sie auf Arbeitsbereich aktualisieren.
4. Wählen Sie im Feld "Netzwerkkonnektivitätskonfiguration " Ihren NCC aus. Sollte diese nicht sichtbar sein, vergewissern Sie sich, dass Sie dieselbe Azure-Region für den Arbeitsbereich und die NCC ausgewählt haben.
5. Klicken Sie auf Aktualisieren.
6. Warten Sie zehn Minuten, bis die Änderung wirksam wird.
7. Starten Sie alle ausgeführten serverlosen Dienste im Arbeitsbereich neu.

Schritt 3: Erstellen von Regeln für den privaten Endpunkt

Sie müssen für jede Azure-Ressource eine Regel für den privaten Endpunkt in Ihrer NCC erstellen.

1. Rufen Sie eine Liste der Azure-Ressourcen-IDs für alle Ihre Ziele ab.
   1. Verwenden Sie auf einer anderen Browserregisterkarte die Azure-Portal zu den Azure-Diensten Ihrer Datenquelle navigieren.
   2. Navigieren Sie auf der Übersicht zum Abschnitt Essentials.
   3. Klicken Sie auf den Link JSON-Ansicht. Die Ressourcen-ID für den Dienst wird oben auf der Seite angezeigt.
   4. Kopieren Sie diese Ressourcen-ID an einen anderen Speicherort. Wiederholen Sie diesen Schritt für alle Ziele. Weitere Informationen zum Auffinden Ihrer Ressourcen-ID finden Sie in den privaten DNS-Zonenwerten von Azure Private Endpoint.
2. Wechseln Sie zurück zur Browserregisterkarte für die Kontokonsole.
3. Klicken Sie in der Randleiste auf Cloudressourcen.
4. Klicken Sie auf Netzwerkkonnektivitätskonfigurationen.
5. Wählen Sie die NCC aus, die Sie in Schritt 1 erstellt haben.
6. Klicken Sie unter Regeln für den privaten Endpunkt auf Regel für den privaten Endpunkt hinzufügen.
7. Fügen Sie in das Feld für Azure-Zielressourcen-ID die Ressourcen-ID für Ihre Ressource ein.
8. Geben Sie im Feld "Azure-Unterressourcen-ID " die Ziel-ID und den Unterressourcentyp an. Jede Regel für den privaten Endpunkt muss eine andere Unterressourcen-ID verwenden. Eine Liste der unterstützten Unterressourcentypen finden Sie unter Verfügbarkeit von Azure Private Link.
9. Klicken Sie auf Hinzufügen.
10. Warten Sie ein paar Minuten, bis alle Endpunktregeln den Status PENDING aufweisen.

Schritt 4: Genehmigen der neuen privaten Endpunkte für Ihre Ressourcen

Die Endpunkte werden erst wirksam, wenn ein*e Administrator*in mit Rechten für die Ressource den neuen privaten Endpunkt genehmigt. Gehen Sie folgendermaßen vor, um einen privaten Endpunkts über das Azure-Portal zu genehmigen:

1. Navigieren Sie im Azure-Portal zu der Ressource.

2. Klicken Sie auf der Seitenleiste auf Netzwerk.

3. Klicken Sie auf Verbindungen mit privatem Endpunkt.

4. Klicken Sie auf die Registerkarte Privater Zugriff.

5. Überprüfen Sie unter Verbindungen mit privatem Endpunkt die Liste der privaten Endpunkte.

6. Aktivieren Sie das Kontrollkästchen neben jedem Endpunkt, der genehmigt werden soll, und klicken Sie oberhalb der Liste auf die Schaltfläche Genehmigen.

7. Wechseln Sie zurück zu Ihrer NCC in Azure Databricks, und aktualisieren Sie dann die Browserseite, bis alle Endpunktregeln den Status ESTABLISHED aufweisen.

   

(Optional:) Schritt 5: Festlegen Ihres Speicherkontos zum Blockieren des öffentliches Netzwerkzugriffs

Sie können den Zugriff auf das Azure-Speicherkonto lediglich für zugelassene Netzwerke freigeben, sofern Sie dies noch nicht getan haben.

1. Öffnen Sie das Azure-Portal.
2. Navigieren Sie zu Ihrem Speicherkonto für die Datenquelle.
3. Klicken Sie auf der Seitenleiste auf Netzwerk.
4. Überprüfen Sie den Wert im Feld für Öffentlicher Netzwerkzugriff. Standardmäßig lautet der Wert Aus allen Netzwerken aktiviert. Ändern Sie diesen in Deaktiviert.

Schritt 6: Starten Sie serverlose Computeebenenressourcen neu, und testen Sie die Verbindung.

1. Warten Sie nach dem vorherigen Schritt fünf weitere Minuten, bis die Änderungen übernommen wurden.
2. Starten Sie alle ausgeführten serverlosen Computeebenenressourcen in den Arbeitsbereichen neu, an die Ihr NCC angefügt ist. Wenn Sie über keine serverlosen Computeebenenressourcen verfügen, starten Sie jetzt eine.
3. Vergewissern Sie sich, dass alle Ressourcen erfolgreich gestartet werden.
4. Führen Sie mindestens eine Abfrage an Ihre Datenquelle aus, um zu bestätigen, dass das serverlose SQL-Warehouse eine Verbindung zu Ihrer Datenquelle herstellen kann.