Firewallondersteuning inschakelen voor uw werkruimteopslagaccount

Elke Azure Databricks-werkruimte heeft een gekoppeld Azure-opslagaccount in een beheerde resourcegroep die het werkruimteopslagaccount wordt genoemd. Het opslagaccount van de werkruimte bevat systeemgegevens voor werkruimten (taakuitvoer, systeeminstellingen en logboeken), DBFS-hoofdmap en in sommige gevallen een catalogus met unity-catalogus met werkruimten. In dit artikel wordt beschreven hoe u de toegang tot uw werkruimteopslagaccount beperkt van alleen geautoriseerde resources en netwerken met behulp van een ARM-sjabloon (Azure Resource Manager).

Wat is firewallondersteuning voor uw werkruimteopslagaccount?

Standaard accepteert het Azure-opslagaccount voor uw werkruimteopslagaccount geverifieerde verbindingen van alle netwerken. U kunt deze toegang beperken door firewallondersteuning in te schakelen voor uw werkruimteopslagaccount. Dit zorgt ervoor dat openbare netwerktoegang niet is toegestaan en het opslagaccount van de werkruimte niet toegankelijk is vanuit niet-geautoriseerde netwerken. U kunt dit configureren als uw organisatie Azure-beleid heeft om ervoor te zorgen dat opslagaccounts privé zijn.

Wanneer firewallondersteuning voor uw werkruimteopslagaccount is ingeschakeld, moet alle toegang van services buiten Azure Databricks goedgekeurde privé-eindpunten gebruiken met Private Link. Azure Databricks maakt een toegangsconnector om verbinding te maken met de opslag met behulp van een door Azure beheerde identiteit. Toegang vanaf serverloze Azure Databricks-berekeningen moet gebruikmaken van service-eindpunten of privé-eindpunten.

Vereisten

• Uw werkruimte moet VNet-injectie inschakelen voor verbindingen vanuit het klassieke rekenvlak.

• Uw werkruimte moet beveiligde clusterconnectiviteit (geen openbaar IP/NPIP) inschakelen voor verbindingen vanuit het klassieke rekenvlak.

• Uw werkruimte moet zich in het Premium-abonnement bevinden.

• U moet een afzonderlijk subnet hebben voor de privé-eindpunten voor het opslagaccount. Dit is naast de belangrijkste twee subnetten voor de basisfunctionaliteit van Azure Databricks.

  Het subnet moet zich in hetzelfde VNet bevinden als de werkruimte of in een afzonderlijk VNet waartoe de werkruimte toegang heeft. Gebruik de minimale grootte /28 in CIDR-notatie.

• Als u Cloud Fetch gebruikt met de Microsoft Fabric-Power BI-service, moet u altijd een gateway gebruiken voor privétoegang tot het opslagaccount van de werkruimte of cloud ophalen uitschakelen. Zie stap 2 (aanbevolen): Privé-eindpunten configureren voor VNets van client ophalen in de cloud.

U kunt de ARM-sjabloon ook gebruiken in stap 5: De vereiste ARM-sjabloon implementeren om een nieuwe werkruimte te maken. Sluit in dat geval alle berekeningen in uw werkruimte af voordat u stap 1 tot en met 4 uitvoert.

Stap 1: Privé-eindpunten maken voor het opslagaccount

Maak twee privé-eindpunten voor uw werkruimteopslagaccount op basis van uw VNet dat u hebt gebruikt voor VNet-injectie voor de doelsubresourcewaarden : dfs en blob.

1. Navigeer in Azure Portal naar uw werkruimte.

2. Klik onder Essentials op de naam van de beheerde resourcegroep.

3. Klik onder Resources op de resource van het type Opslagaccount met een naam die begint metdbstorage.

4. Klik in de zijbalk op Netwerken.

5. Klik op Privé-eindpuntverbindingen.

6. Klik op + Privé-eindpunt.

7. Stel uw resourcegroep in het veld Resourcegroepnaam in.

   Belangrijk

   De resourcegroep mag niet hetzelfde zijn als de beheerde resourcegroep waarin uw werkruimteopslagaccount zich bevindt.

8. Typ in het veld Naam een unieke naam voor dit privé-eindpunt:

   • Voor het eerste privé-eindpunt dat u voor elk bronnetwerk maakt, maakt u een DFS-eindpunt. Databricks raadt u aan het achtervoegsel toe te voegen -dfs-pe
   • Voor het tweede privé-eindpunt dat u voor elk bronnetwerk maakt, maakt u een Blob-eindpunt. Databricks raadt u aan het achtervoegsel toe te voegen -blob-pe

   Het veld Netwerkinterfacenaam wordt automatisch ingevuld.

9. Stel het veld Regio in op de regio van uw werkruimte.

10. Klik op Volgende.

11. Klik in de doelsubresource op het doelresourcetype.

    • Stel dit in op dfs voor het eerste privé-eindpunt dat u voor elk bronnetwerk maakt.
    • Stel dit in op blob voor het tweede privé-eindpunt dat u voor elk bronnetwerk maakt.

12. Selecteer een VNet in het veld Virtueel netwerk .

13. Stel in het subnetveld het subnet in op het afzonderlijke subnet dat u hebt voor de privé-eindpunten voor het opslagaccount.

    Dit veld kan automatisch worden ingevuld met het subnet voor uw privé-eindpunten, maar mogelijk moet u dit expliciet instellen. U kunt geen van de twee subnetten van de werkruimte gebruiken die worden gebruikt voor de basisfunctionaliteit van de Azure Databricks-werkruimte, die doorgaans worden aangeroepen private-subnet en public-subnet.

14. Klik op Volgende. Het DNS-tabblad wordt automatisch ingevuld in het juiste abonnement en de juiste resourcegroep die u eerder hebt geselecteerd. Wijzig ze indien nodig.

15. Klik op Volgende en voeg indien gewenst tags toe.

16. Klik op Volgende en controleer de velden.

17. Klik op Create.

Als u firewallondersteuning voor uw werkruimteopslagaccount wilt uitschakelen, gebruikt u hetzelfde proces als hierboven, maar stelt u de firewall voor het opslagaccount van de parameter (storageAccountFirewall in de sjabloon) Disabled in op en stelt u het Workspace Catalog Enabled veld true in op of op basis van of false uw werkruimte gebruikmaakt van een Catalogus met Unity Catalog-werkruimten. Bekijk wat zijn catalogi in Azure Databricks?

Stap 2 (aanbevolen): Privé-eindpunten configureren voor client-VNets voor cloud ophalen

Cloud fetch is een mechanisme in ODBC en JDBC voor het parallel ophalen van gegevens via cloudopslag om de gegevens sneller naar BI-hulpprogramma's te brengen. Als u queryresultaten ophaalt die groter zijn dan 1 MB uit BI-hulpprogramma's, gebruikt u waarschijnlijk Cloud Fetch.

Notitie

Als u de Microsoft Fabric-Power BI-service met Azure Databricks gebruikt, moet u Cloud fetch uitschakelen, omdat met deze functie directe toegang tot het opslagaccount van de werkruimte vanuit Fabric Power BI wordt geblokkeerd. U kunt ook een gegevensgateway voor een virtueel netwerk of een on-premises gegevensgateway configureren om privétoegang tot het werkruimteopslagaccount toe te staan. Dit geldt niet voor Power BI Desktop. Als u Cloud fetch wilt uitschakelen, gebruikt u de configuratie EnableQueryResultDownload=0.

Als u Cloud Fetch gebruikt, maakt u privé-eindpunten voor het werkruimteopslagaccount van alle VNets van uw Cloud Fetch-clients.

Maak voor elk bronnetwerk voor Cloud Fetch-clients twee privé-eindpunten die gebruikmaken van twee verschillende doelsubresourcewaarden : dfs en blob. Raadpleeg stap 1: Privé-eindpunten maken voor het opslagaccount voor gedetailleerde stappen. Zorg ervoor dat u in deze stappen voor het veld Virtueel netwerk bij het maken van het privé-eindpunt uw bron-VNet opgeeft voor elke Cloud Fetch-client.

Stap 3: Eindpuntgoedkeuringen bevestigen

Nadat u al uw privé-eindpunten hebt gemaakt in het opslagaccount, controleert u of ze zijn goedgekeurd. Ze kunnen automatisch goedkeuren of u moet ze mogelijk goedkeuren in het opslagaccount.

1. Navigeer naar uw werkruimte in Azure Portal.
2. Klik onder Essentials op de naam van de beheerde resourcegroep.
3. Klik onder Resources op de resource van het type Opslagaccount met een naam die begint metdbstorage.
4. Klik in de zijbalk op Netwerken.
5. Klik op Privé-eindpuntverbindingen.
6. Controleer de verbindingsstatus om te bevestigen dat ze goedgekeurd zijn of selecteer ze en klik op Goedkeuren.

Stap 4: Serverloze rekenverbindingen autoriseren

U moet serverloze berekeningen autoriseren om verbinding te maken met uw werkruimteopslagaccount door een netwerkverbindingsconfiguratie (NCC) aan uw werkruimte te koppelen. Wanneer een NCC is gekoppeld aan een werkruimte, worden de netwerkregels automatisch toegevoegd aan het Azure-opslagaccount voor het werkruimteopslagaccount. Zie Een firewall configureren voor serverloze rekentoegang voor instructies.

Neem contact op met uw Azure Databricks-accountteam als u toegang wilt inschakelen vanuit serverloze azure Databricks-berekeningen met behulp van privé-eindpunten.

Stap 5: De vereiste ARM-sjabloon implementeren

In deze stap wordt een ARM-sjabloon gebruikt om de Azure Databricks-werkruimte te beheren. U kunt uw werkruimte ook bijwerken of maken met behulp van Terraform. Zie de azurerm_databricks_workspace Terraform-provider.

1. Zoek en selecteer Deploy a custom templatein De Azure-portal .

2. Klik op Uw eigen sjabloon maken in de editor.

3. Kopieer de ARM-sjabloon uit de ARM-sjabloon voor firewallondersteuning voor uw werkruimteopslagaccount en plak deze in de editor.

4. Klik op Opslaan.

5. Velden controleren en bewerken. Gebruik dezelfde parameters die u hebt gebruikt om de werkruimte te maken, zoals abonnement, regio, werkruimtenaam, subnetnamen, resource-id van het bestaande VNet.

   Zie ARM-sjabloonvelden voor een beschrijving van de velden.

6. Klik op Controleren en maken en vervolgens op Maken.

Notitie

De toegang tot het openbare netwerk in uw werkruimteopslagaccount is ingeschakeld vanuit geselecteerde virtuele netwerken en IP-adressen en niet op Uitgeschakeld om serverloze rekenresources te ondersteunen zonder dat er privé-eindpunten nodig zijn. Het opslagaccount van de werkruimte bevindt zich in een beheerde resourcegroep en de opslagfirewall kan alleen worden bijgewerkt wanneer u een netwerkverbindingsconfiguratie (NCC) toevoegt voor serverloze verbindingen met uw werkruimte. Neem contact op met uw Azure Databricks-accountteam als u toegang wilt inschakelen vanuit serverloze azure Databricks-berekeningen met behulp van privé-eindpunten.