Delen via

Beveiligde clusterconnectiviteit inschakelen

  • Artikel

In dit artikel wordt uitgelegd hoe u beveiligde clusterconnectiviteit gebruikt voor Azure Databricks-werkruimten. Beveiligde clusterconnectiviteit wordt ook wel geen openbaar IP-adres (NPIP) genoemd. Hoewel het serverloze rekenvlak geen beveiligde clusterconnectiviteit gebruikt, hebben serverloze rekenresources geen openbare IP-adressen.

Overzicht van beveiligde clusterconnectiviteit

Wanneer beveiligde clusterconnectiviteit is ingeschakeld, hebben virtuele netwerken van klanten geen open poorten en rekenresources in het klassieke rekenvlak geen openbare IP-adressen.

  • Elk cluster initieert een verbinding met het controlevlak om een beveiligde verbinding voor clusterconnectiviteit tot stand te brengen tijdens de creatie van het cluster. Het cluster brengt deze verbinding tot stand via poort 443 (HTTPS) en gebruikt een ander IP-adres dan wordt gebruikt voor de webtoepassing en REST API.
  • Wanneer het besturingsvlak clusterbeheertaken uitvoert, worden deze aanvragen via deze tunnel naar het cluster verzonden.

Notitie

Al het Azure Databricks-netwerkverkeer tussen het klassieke VNet van het rekenvlak en het Azure Databricks-besturingsvlak loopt over de Microsoft-netwerk-backbone, niet het openbare internet. Dit geldt zelfs als beveiligde clusterconnectiviteit is uitgeschakeld.

U kunt beveiligde clusterconnectiviteit inschakelen in een nieuwe werkruimte of deze toevoegen aan een bestaande werkruimte die al gebruikmaakt van VNet-injectie.

Beveiligde clusterconnectiviteit inschakelen in een nieuwe werkruimte

U kunt beveiligde clusterconnectiviteit inschakelen wanneer u een werkruimte maakt met behulp van Azure Portal of een ARM-sjabloon (Azure Resource Manager).

Beveiligde clusterconnectiviteit toevoegen aan een bestaande werkruimte

U kunt beveiligde clusterconnectiviteit inschakelen voor een bestaande werkruimte met behulp van Azure Portal, een ARM-sjabloon of azurerm Terraform-provider versie 3.41.0+. De upgrade vereist dat de werkruimte VNet-injectie gebruikt.

Belangrijk

Als u een firewall of andere netwerkconfiguratiewijzigingen gebruikt om inkomend of uitgaand verkeer van het klassieke rekenvlak te beheren, moet u mogelijk uw firewall- of netwerkbeveiligingsgroepsregels tegelijkertijd bijwerken als deze wijzigingen volledig van kracht worden. Als u bijvoorbeeld beveiligde clusterconnectiviteit gebruikt, is er een extra uitgaande verbinding met het besturingsvlak en worden de binnenkomende verbindingen van het besturingsvlak niet meer gebruikt.

Stap 1: alle rekenresources stoppen

Stop alle klassieke rekenresources, zoals clusters, pools of klassieke SQL-warehouses. Databricks raadt u aan de timing van de upgrade te plannen voor uitvalt.

Stap 2: De werkruimte bijwerken

U kunt de werkruimte bijwerken met behulp van Azure Portal, een ARM-sjabloon of Terraform.

Azure Portal gebruiken

  1. Ga naar uw Azure Databricks-werkruimte in Azure Portal.
  2. Klik in het linkernavigatievenster onder Instellingen op Netwerken.
  3. Stel op het tabblad NetwerktoegangAzure Databricks-werkruimte uitrollen met Veilige Clusterconnectiviteit (Geen Openbaar IP) in op Ingeschakeld.
  4. Klik op Opslaan.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een bijgewerkte ARM-sjabloon toepassen met behulp van Azure Portal

Gebruik een ARM-sjabloon om de parameter enableNoPublicIp in te stellen op True (true).

Notitie

Als uw beheerde resourcegroep een aangepaste naam heeft, moet u de sjabloon dienovereenkomstig wijzigen. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.

  1. Kopieer de volgende upgrade van de JSON van de ARM-sjabloon:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
              "2018-04-01",
              "2020-02-15",
              "2022-04-01-preview",
              "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Ga naar de pagina Aangepaste implementatie in Azure Portal.

    2. Klik op Uw eigen sjabloon maken in de editor.

    3. Plak de JSON voor de sjabloon die u hebt gekopieerd.

    4. Klik op Opslaan.

    5. Vul de parameters in.

    6. Als u een bestaande werkruimte wilt bijwerken, gebruikt u dezelfde parameters die u hebt gebruikt om de andere werkruimte te maken dan enableNoPublicIp waarop u moet instellen true. Stel het abonnement, de regio, de naam van de werkruimte, de subnetnamen, de resource-id van het bestaande VNet in.

      Belangrijk

      De naam van de resourcegroep, werkruimtenaam en subnetnamen zijn identiek aan uw bestaande werkruimte, zodat deze opdracht de bestaande werkruimte bijwerkt in plaats van een nieuwe werkruimte te maken.

    7. Klik op Controleren + maken.

    8. Als er geen validatieproblemen zijn, klikt u op Maken.

    Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een update toepassen met Behulp van Terraform

Voor werkruimten die zijn gemaakt met Terraform, kunt u de werkruimte bijwerken zonder de werkruimte opnieuw te maken.

Belangrijk

U moet versie 3.41.0 of hoger gebruiken terraform-provider-azurerm , dus werk indien nodig een upgrade uit van uw Terraform-providerversie. Eerdere versies proberen de werkruimte opnieuw te maken als u een van deze instellingen wijzigt.

Wijzig de volgende werkruimte-instellingen:

  • no_public_ip in het custom_parameters blok kan worden gewijzigd van false in true.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Stap 3: De update valideren

Zodra de werkruimte de actieve status heeft, is de updatetaak voltooid. Controleer of de update is toegepast:

  1. Open Azure Databricks in uw webbrowser.

  2. Start een van de clusters van de werkruimte en wacht totdat het cluster volledig is gestart.

  3. Ga naar uw werkruimte-exemplaar in Azure Portal.

  4. Klik op de blauwe id naast het veldlabel Beheerde resourcegroep.

  5. Zoek in die groep de VM's voor het cluster en klik op een van deze vm's.

  6. Zoek in de VM-instellingen in Eigenschappen naar de velden in het gebied Netwerken .

  7. Controleer of het veld Openbaar IP-adres leeg is.

    Als deze is ingevuld, heeft de VIRTUELE machine een openbaar IP-adres, wat betekent dat de update is mislukt.

Tijdelijke terugdraaiactie van upgraden naar beveiligde clusterconnectiviteit

Als er iets misgaat tijdens de implementatie, kunt u het proces tijdelijk terugdraaien, maar het uitschakelen van SCC op een werkruimte wordt niet ondersteund, behalve voor een tijdelijke terugdraaiing voordat u later doorgaat met de upgrade. Als dit tijdelijk nodig is, kunt u de bovenstaande instructies voor de upgrade volgen, maar deze optie instellen enableNoPublicIpfalse in plaats van waar.

Uitgaand verkeer van werkruimtesubnetten

Wanneer u beveiligde clusterconnectiviteit inschakelt, zijn beide werkruimtesubnetten privésubnetten, omdat clusterknooppunten geen openbare IP-adressen hebben.

De implementatiedetails van uitgaand netwerk variëren afhankelijk van of u het standaard (beheerde) VNet gebruikt of dat u de VNet-injectie gebruikt om uw eigen VNet te bieden waarin u uw werkruimte kunt implementeren.

Belangrijk

Er kunnen extra kosten in rekening worden gebracht vanwege verhoogd uitgaand verkeer wanneer u beveiligde clusterconnectiviteit gebruikt. Voor de veiligste implementatie raden Microsoft en Databricks u ten zeerste aan beveiligde clusterconnectiviteit in te schakelen.

Uitgaand verkeer met standaard (beheerd) VNet

Als u beveiligde clusterconnectiviteit gebruikt met het standaard-VNet dat Azure Databricks maakt, maakt Azure Databricks automatisch een NAT-gateway voor uitgaand verkeer van de subnetten van uw werkruimte naar de Azure-backbone en het openbare netwerk. De NAT-gateway wordt gemaakt binnen de beheerde resourcegroep die wordt beheerd door Azure Databricks. U kunt deze resourcegroep of resources die erin zijn ingericht, niet wijzigen. Voor deze NAT-gateway worden extra kosten in rekening gebracht.

Uitgaand verkeer met VNet-injectie

Als u beveiligde clusterconnectiviteit inschakelt in uw werkruimte die gebruikmaakt van VNet-injectie, raadt Databricks aan dat uw werkruimte een stabiel openbaar IP-adres voor uitgaand verkeer heeft. Stabiele openbare IP-adressen voor uitgaand verkeer zijn handig omdat u ze kunt toevoegen aan externe acceptatielijsten. Als u bijvoorbeeld vanuit Azure Databricks verbinding wilt maken met Salesforce met een stabiel uitgaand IP-adres.

Waarschuwing

Microsoft heeft aangekondigd dat op 30 september 2025 de standaardconnectiviteit voor uitgaande toegang voor virtuele machines in Azure buiten gebruik wordt gesteld. Bekijk deze aankondiging. Dit betekent dat bestaande Azure Databricks-werkruimten die gebruikmaken van standaard uitgaande toegang in plaats van een stabiel openbaar IP-adres voor uitgaand verkeer mogelijk na die datum niet meer werken. Databricks raadt u aan expliciete uitgaande methoden toe te voegen voor uw werkruimten vóór die datum.

Als u expliciete uitgaande methoden voor uw werkruimte wilt toevoegen, gebruikt u een Azure NAT-gateway of door de gebruiker gedefinieerde routes (UDR's).

  • Azure NAT-gateway: gebruik een Azure NAT-gateway als uw implementaties slechts enkele aanpassingen nodig hebben. Configureer de gateway op beide subnetten van de werkruimte om ervoor te zorgen dat al het uitgaande verkeer naar de Azure-backbone en het openbare netwerk erdoorheen wordt geleid. Clusters hebben een stabiel openbaar IP-adres voor uitgaand verkeer en u kunt de configuratie wijzigen voor aangepaste uitgaande behoeften. U kunt dit configureren met behulp van een Azure-sjabloon of vanuit Azure Portal.
  • UDR's: UDR's gebruiken als voor uw implementaties complexe routeringsvereisten zijn vereist of als uw werkruimten VNet-injectie gebruiken met een uitgaande firewall. UDR's zorgen ervoor dat netwerkverkeer correct wordt gerouteerd voor uw werkruimte, rechtstreeks naar de vereiste eindpunten of via een uitgaande firewall. Als u UDR's wilt gebruiken, moet u directe routes of toegestane firewallregels toevoegen voor de azure Databricks-relay voor beveiligde clusterconnectiviteit en andere vereiste eindpunten die worden vermeld in door de gebruiker gedefinieerde route-instellingen voor Azure Databricks.

Waarschuwing

Gebruik geen uitgaande load balancer met een werkruimte waarvoor beveiligde clusterconnectiviteit is ingeschakeld. In productiesystemen kan een load balancer voor uitgaand verkeer leiden tot het risico van uitputting van poorten.