Een firewall configureren voor serverloze rekentoegang

Artikel
11/21/2024

In dit artikel wordt beschreven hoe u een Azure Storage-firewall configureert voor serverloze berekeningen met behulp van de gebruikersinterface van de Azure Databricks-accountconsole. U kunt ook de API voor netwerkconnectiviteitsconfiguraties gebruiken.

Als u een privé-eindpunt wilt configureren voor serverloze rekentoegang, raadpleegt u Privéconnectiviteit configureren vanuit serverloze berekeningen.

Belangrijk

Vanaf 4 december 2024 wordt databricks in rekening gebracht voor netwerkkosten voor serverloze workloads die verbinding maken met externe resources. Facturering wordt geleidelijk geïmplementeerd en er worden mogelijk pas kosten in rekening gebracht na 4 december 2024. Er worden geen kosten in rekening gebracht voor gebruik voordat facturering is ingeschakeld. Nadat facturering is ingeschakeld, worden er mogelijk kosten in rekening gebracht voor:

Privéconnectiviteit met uw resources via Private Link. Kosten voor gegevensverwerking voor privéconnectiviteit met uw resources via Private Link worden voor onbepaalde tijd opgeheven. Kosten per uur zijn van toepassing.
Openbare connectiviteit met uw resources via NAT-gateway.
Kosten voor gegevensoverdracht, zoals wanneer serverloze berekeningen en de doelresource zich in verschillende regio's bevinden.

Overzicht van firewall-activering voor serverloze berekeningen

Serverloze netwerkconnectiviteit wordt beheerd met netwerkconnectiviteitsconfiguraties (NCC's). Accountbeheerders maken NCC's in de accountconsole en een NCC kunnen worden gekoppeld aan een of meer werkruimten

Een NCC bevat een lijst met netwerkidentiteiten voor een Azure-resourcetype als standaardregels. Wanneer een NCC is gekoppeld aan een werkruimte, maakt serverloze berekening in die werkruimte gebruik van een van deze netwerken om de Azure-resource te verbinden. U kunt deze netwerken in uw Azure-resourcefirewall toestaan. Als u niet-opslagfirewalls voor Azure-resources hebt, neemt u contact op met uw accountteam voor informatie over het gebruik van stabiele NAT-IP's van Azure Databricks.

Het inschakelen van NCC-firewalls wordt ondersteund vanuit serverloze SQL-warehouses, taken, notebooks, Delta Live Tables-pijplijnen en modellen voor CPU-eindpunten.

U kunt eventueel netwerktoegang tot uw werkruimteopslagaccount configureren vanuit alleen geautoriseerde netwerken, waaronder serverloze rekenkracht. Zie Firewall-ondersteuning inschakelen voor uw werkruimteopslagaccount. Wanneer een NCC is gekoppeld aan een werkruimte, worden de netwerkregels automatisch toegevoegd aan het Azure-opslagaccount voor het werkruimteopslagaccount.

Zie Wat is een netwerkverbindingsconfiguratie (NCC)? voor meer informatie over NCC's.

Kostengevolgen van opslagtoegang tussen regio's

De firewall is alleen van toepassing wanneer de Azure-resources zich in dezelfde regio bevinden als de Azure Databricks-werkruimte. Azure Databricks stuurt het verkeer via een Azure NAT Gateway-service voor verkeer tussen regio's (bijvoorbeeld in de regio VS - oost en ADLS-opslag bevindt zich in Europa - west).

Vereisten

Uw werkruimte moet zich in het Premium-abonnement bevinden.
U moet een Azure Databricks-accountbeheerder zijn.
Elke NCC kan worden gekoppeld aan maximaal 50 werkruimten.
Elk Azure Databricks-account kan maximaal 10 NCC's per regio hebben.
U moet toegang hebben WRITE tot de netwerkregels van uw Azure-opslagaccount.

Stap 1: Een netwerkverbindingsconfiguratie maken en subnet-id's kopiëren

Databricks raadt het delen van NCC's aan tussen werkruimten in dezelfde bedrijfseenheid en de werkruimten die dezelfde regio- en connectiviteitseigenschappen delen. Als sommige werkruimten bijvoorbeeld opslagfirewall gebruiken en andere werkruimten de alternatieve benadering van Private Link gebruiken, gebruikt u afzonderlijke NCC's voor deze use cases.

Als accountbeheerder gaat u naar de accountconsole.
Klik in de zijbalk op Cloudresources.
Klik op Netwerkverbindingsconfiguratie.
Klik op Netwerkconnectiviteitsconfiguraties toevoegen.
Typ een naam voor de NCC.
Kies de regio. Dit moet overeenkomen met uw werkruimteregio.
Klik op Toevoegen.
Klik in de lijst met NCC's op uw nieuwe NCC.
Klik in Standaardregels onder Netwerkidentiteiten op Alles weergeven.
Klik in het dialoogvenster op de knop Subnetten kopiëren.
Klik op Sluiten.

Stap 2: Een NCC koppelen aan werkruimten

U kunt een NCC koppelen aan maximaal 50 werkruimten in dezelfde regio als de NCC.

Als u de API wilt gebruiken om een NCC toe te voegen aan een werkruimte, raadpleegt u de API voor accountwerkruimten.

Klik in de zijbalk van de accountconsole op Werkruimten.
Klik op de naam van uw werkruimte.
Klik op Werkruimte bijwerken.
Selecteer uw NCC in het veld Netwerkconnectiviteitsconfiguratie . Als dit niet zichtbaar is, controleert u of u dezelfde regio hebt geselecteerd voor zowel de werkruimte als de NCC.
Klik op Bijwerken.
Wacht tien minuten totdat de wijziging is doorgevoerd.
Start alle actieve serverloze rekenresources opnieuw op in de werkruimte.

Als u deze functie gebruikt om verbinding te maken met het opslagaccount van de werkruimte, is uw configuratie voltooid. De netwerkregels worden automatisch toegevoegd aan het opslagaccount van de werkruimte. Ga verder met de volgende stap voor extra opslagaccounts.

Stap 3: Uw opslagaccount vergrendelen

Als u de toegang tot het Azure-opslagaccount nog niet hebt beperkt tot alleen toegestane netwerken, doet u dit nu. U hoeft deze stap niet uit te voeren voor het opslagaccount van de werkruimte.

Het maken van een opslagfirewall is ook van invloed op de connectiviteit van het klassieke rekenvlak naar uw resources. U moet ook netwerkregels toevoegen om verbinding te maken met uw opslagaccounts vanuit klassieke rekenresources.

Ga naar de Azure Portal.
Navigeer naar uw opslagaccount voor de gegevensbron.
Klik in het linkernavigatievenster op Netwerken.
Controleer de waarde in het veld Openbare netwerktoegang. De waarde is standaard ingeschakeld vanuit alle netwerken. Wijzig dit in Ingeschakeld van geselecteerde virtuele netwerken en IP-adressen.

Stap 4: Netwerkregels voor Azure-opslagaccounts toevoegen

U hoeft deze stap niet uit te voeren voor het opslagaccount van de werkruimte.

Voeg één netwerkregel voor het Azure-opslagaccount toe voor elk subnet. U kunt dit doen met behulp van de Azure CLI, PowerShell, Terraform of andere automatiseringsprogramma's. Houd er rekening mee dat deze stap niet kan worden uitgevoerd in de gebruikersinterface van Azure Portal.

In het volgende voorbeeld wordt de Azure CLI gebruikt:
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Vervang door <sub> de naam van uw Azure-abonnement voor het opslagaccount.
- Vervang door <res> de resourcegroep van uw opslagaccount.
- Vervangen <account> door de naam van uw opslagaccount
- Vervang door <subnet> de ARM-resource-id (resourceId) van het serverloze rekensubnet.
Nadat u alle opdrachten hebt uitgevoerd, kunt u Azure Portal gebruiken om uw opslagaccount weer te geven en te bevestigen dat er een vermelding is in de tabel Virtuele netwerken die het nieuwe subnet vertegenwoordigt. U kunt de netwerkregels echter niet wijzigen in Azure Portal.
Tip
- Wanneer u netwerkregels voor opslagaccounts toevoegt, gebruikt u de Netwerkconnectiviteits-API om de meest recente subnetten op te halen.
- Vermijd het lokaal opslaan van NCC-gegevens.
- Negeer de vermelding 'Onvoldoende machtigingen' in de kolom eindpuntstatus of de waarschuwing onder de netwerklijst. Ze geven alleen aan dat u niet gemachtigd bent om de Azure Databricks-subnetten te lezen, maar dit heeft geen invloed op de mogelijkheid voor dat serverloze Azure Databricks-subnet om contact op te maken met uw Azure-opslag.
Herhaal deze opdracht eenmaal voor elk subnet.
Als u wilt controleren of uw opslagaccount deze instellingen gebruikt vanuit Azure Portal, gaat u naar Netwerken in uw opslagaccount.

Controleer of de openbare netwerktoegang is ingesteld op Ingeschakeld vanuit geselecteerde virtuele netwerken en IP-adressen en toegestane netwerken in de sectie Virtuele netwerken .

Delen via