Dela via

Aktivera säker klusteranslutning

  • Artikel

Den här artikeln beskriver hur du använder säker klusteranslutning för Azure Databricks-arbetsytor. Säker klusteranslutning kallas även för ingen offentlig IP-adress (NPIP). Även om det serverlösa beräkningsplanet inte använder säker klusteranslutning har serverlösa beräkningsresurser inte offentliga IP-adresser.

Översikt över säker klusteranslutning

När säker klusteranslutning är aktiverad har kundens virtuella nätverk inga öppna portar och beräkningsresurser i det klassiska beräkningsplanet har inga offentliga IP-adresser.

  • Varje kluster initierar en anslutning till kontrollplanets säkra klusteranslutningsrelä när klustret skapas. Klustret upprättar den här anslutningen med hjälp av port 443 (HTTPS) och använder en annan IP-adress än vad som används för webbprogrammet och REST-API:et.
  • När kontrollplanet utför klusteradministrationsuppgifter skickas dessa begäranden till klustret via den här tunneln.

Kommentar

All Azure Databricks-nätverkstrafik mellan det klassiska virtuella beräkningsplanet och Azure Databricks-kontrollplanet går över Microsoft-nätverkets stamnät, inte det offentliga Internet. Detta gäller även om säker klusteranslutning är inaktiverad.

Du kan aktivera säker klusteranslutning på en ny arbetsyta eller lägga till den i en befintlig arbetsyta som redan använder VNet-inmatning.

Aktivera säker klusteranslutning på en ny arbetsyta

Du kan aktivera säker klusteranslutning när du skapar en arbetsyta med hjälp av Azure-portalen eller en ARM-mall (Azure Resource Manager).

Lägga till säker klusteranslutning till en befintlig arbetsyta

Du kan aktivera säker klusteranslutning på en befintlig arbetsyta med hjälp av Azure-portalen, en ARM-mall eller azurerm Terraform-provider version 3.41.0+. Uppgraderingen kräver att arbetsytan använder VNet-inmatning.

Viktigt!

Om du använder en brandvägg eller andra ändringar i nätverkskonfigurationen för att styra inkommande eller utgående från det klassiska beräkningsplanet kan du behöva uppdatera brandväggs- eller nätverkssäkerhetsgruppens regler samtidigt som ändringarna börjar gälla fullt ut. Om du till exempel använder säker klusteranslutning finns det ytterligare en utgående anslutning till kontrollplanet och de inkommande anslutningarna från kontrollplanet används inte längre.

Steg 1: Stoppa alla beräkningsresurser

Stoppa alla klassiska beräkningsresurser, till exempel kluster, pooler eller klassiska SQL-lager. Databricks rekommenderar att du planerar tidpunkten för uppgraderingen för stilleståndstid.

steg 2: Uppdatera arbetsytan

Du kan uppdatera arbetsytan med hjälp av Azure-portalen, en ARM-mall eller Terraform.

Använda Azure-portalen

  1. Gå till din Azure Databricks-arbetsyta i Azure-portalen.
  2. I det vänstra navigeringsfältet under Inställningar klickar du på Nätverk.
  3. På fliken Nätverksåtkomst anger du Distribuera Azure Databricks-arbetsyta med säker klusteranslutning (ingen offentlig IP)- till Aktiverad.
  4. Klicka på Spara.

Nätverksuppdateringen kan ta över 15 minuter att slutföra.

Använd en uppdaterad ARM-mall med hjälp av Azure Portal

Använd en ARM-mall för att ange parametern enableNoPublicIp till True (true).

Kommentar

Om den hanterade resursgruppen har ett anpassat namn måste du ändra mallen i enlighet med detta. Kontakta ditt Azure Databricks-kontoteam om du vill ha mer information.

  1. Kopiera följande uppgradering av ARM-mallenS JSON:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
              "2018-04-01",
              "2020-02-15",
              "2022-04-01-preview",
              "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Gå till sidan Azure Portal anpassad distribution.

    2. Klicka på Skapa en egen mall i redigeraren.

    3. Klistra in JSON för mallen som du kopierade.

    4. Klicka på Spara.

    5. Fyll i parametrarna.

    6. Om du vill uppdatera en befintlig arbetsyta använder du samma parametrar som du använde för att skapa den andra arbetsytan än enableNoPublicIp som du måste ange till true. Ange prenumeration, region, arbetsytenamn, undernätsnamn, resurs-ID för det befintliga virtuella nätverket.

      Viktigt!

      Resursgruppens namn, arbetsytenamn och undernätsnamn är identiska med din befintliga arbetsyta så att det här kommandot uppdaterar den befintliga arbetsytan i stället för att skapa en ny arbetsyta.

    7. Klicka på Granska + Skapa.

    8. Om det inte finns några verifieringsproblem klickar du på Skapa.

    Nätverksuppdateringen kan ta över 15 minuter att slutföra.

Tillämpa en uppdatering med Terraform

För arbetsytor som skapats med Terraform kan du uppdatera arbetsytan utan att återskapa arbetsytan.

Viktigt!

Du måste använda terraform-provider-azurerm version 3.41.0 eller senare, så uppgradera Terraform-providerversionen efter behov. Tidigare versioner försöker återskapa arbetsytan om du ändrar någon av dessa inställningar.

Ändra följande inställningar för arbetsytan:

  • no_public_ip i blocket custom_parameters kan ändras från false till true.

Nätverksuppdateringen kan ta över 15 minuter att slutföra.

steg 3: Verifiera uppdateringen

När arbetsytan är i aktivt tillstånd slutförs uppdateringsjobbet. Kontrollera att uppdateringen har tillämpats:

  1. Öppna Azure Databricks i webbläsaren.

  2. Starta ett av arbetsytans kluster och vänta tills klustret har startats helt.

  3. Gå till din arbetsyteinstans i Azure Portal.

  4. Klicka på det blå ID:t bredvid fältetiketten Hanterad resursgrupp.

  5. I den gruppen letar du upp de virtuella datorerna för klustret och klickar på en av dem.

  6. I VM-inställningarna i Egenskaper letar du efter fälten i området Nätverk .

  7. Bekräfta att fältet Offentlig IP-adress är tomt.

    Om den är ifylld har den virtuella datorn en offentlig IP-adress, vilket innebär att uppdateringen misslyckades.

Tillfällig återställning av uppgradering till säker klusteranslutning

Om något går fel under distributionen kan du återställa processen som en tillfällig återställning, men att inaktivera SCC på en arbetsyta stöds inte annat än för tillfällig återställning innan du fortsätter uppgraderingen senare. Om detta är nödvändigt tillfälligt kan du följa anvisningarna ovan för uppgradering men ange enableNoPublicIp till false i stället för sant.

Utgående från arbetsyteundernät

När du aktiverar säker klusteranslutning är båda dina arbetsyteundernät privata undernät, eftersom klusternoder inte har offentliga IP-adresser.

Implementeringsdetaljerna för nätverksutgången varierar beroende på om du använder den förvalda (hanterade) VNet eller om du använder den VNet-inmatningen för att tillhandahålla ditt eget virtuella nätverk där du distribuerar din arbetsyta.

Viktigt!

Ytterligare kostnader kan uppstå på grund av ökad utgående trafik när du använder säker klusteranslutning. För den säkraste distributionen rekommenderar Microsoft och Databricks starkt att du aktiverar säker klusteranslutning.

Utgående med standard -VNet (hanterat)

Om du använder säker klusteranslutning med det standard-VNet som Azure Databricks skapar skapar Azure Databricks automatiskt en NAT-gateway för utgående trafik från arbetsytans undernät till Azure-stamnätet och det offentliga nätverket. NAT-gatewayen skapas i den hanterade resursgruppen som hanteras av Azure Databricks. Du kan inte ändra den här resursgruppen eller några resurser som har etablerats i den. Den här NAT-gatewayen medför ytterligare kostnader.

Utgående med VNet-inmatning

Om du aktiverar säker klusteranslutning på din arbetsyta som använder VNet-inmatning rekommenderar Databricks att din arbetsyta har en stabil offentlig IP-adress för utgående trafik. Stabila offentliga IP-adresser för utgående trafik är användbara eftersom du kan lägga till dem i externa tillåtna listor. Om du till exempel vill ansluta från Azure Databricks till Salesforce med en stabil utgående IP-adress.

Varning

Microsoft meddelade att den 30 september 2025 kommer standardanslutningen för utgående åtkomst för virtuella datorer i Azure att dras tillbaka. Se det här meddelandet. Det innebär att befintliga Azure Databricks-arbetsytor som använder standardutgående åtkomst i stället för en stabil offentlig IP-adress för utgående trafik kanske inte fortsätter att fungera efter det datumet. Databricks rekommenderar att du lägger till explicita utgående metoder för dina arbetsytor före det datumet.

Om du vill lägga till explicita utgående metoder för din arbetsyta använder du en Azure NAT-gateway eller användardefinierade vägar (UDR).

  • Azure NAT-gateway: Använd en Azure NAT-gateway om dina distributioner bara behöver vissa anpassningar. Konfigurera gatewayen på båda arbetsytans undernät för att säkerställa att all utgående trafik till Azures stamnät och offentliga nätverksöverföringar via den. Kluster har en stabil offentlig IP-adress för utgående trafik och du kan ändra konfigurationen för anpassade utgående behov. Du kan konfigurera detta med antingen en Azure-mall eller från Azure-portalen.
  • UDR:er: Använd UDR:er om dina distributioner kräver komplexa routningskrav eller om dina arbetsytor använder VNet-injektion med en utträdesbrandvägg. UDR:er ser till att nätverkstrafiken dirigeras korrekt för din arbetsyta, antingen direkt till de nödvändiga slutpunkterna eller via en utgående brandvägg. Om du vill använda UDR:er måste du lägga till direkta vägar eller tillåtna brandväggsregler för Azure Databricks säkra klusteranslutningsrelä och andra nödvändiga slutpunkter som anges i Användardefinierade routningsinställningar för Azure Databricks.

Varning

Använd inte en utgående lastbalanserare med en arbetsyta som har säker klusteranslutning aktiverad. I produktionssystem kan en utgående lastbalanserare leda till risk för uttömning av portar.