Povolení zabezpečeného připojení ke clusteru

Článek
01/23/2025

Tento článek vysvětluje, jak používat zabezpečené připojení clusteru pro pracovní prostory Azure Databricks. Zabezpečené připojení ke clusteru se také označuje jako žádná veřejná IP adresa (NPIP). I když bezserverová výpočetní rovina nepoužívá zabezpečené připojení clusteru, výpočetní prostředky bez serveru nemají veřejné IP adresy.

Přehled zabezpečeného připojení ke clusteru

Pokud je povolené zabezpečené připojení ke clusteru, nemají virtuální sítě zákazníka žádné otevřené porty a výpočetní prostředky v klasické výpočetní rovině nemají žádné veřejné IP adresy.

Každý cluster zahájí připojení k řídicí rovině prostřednictvím zabezpečeného relé pro připojení clusteru během vytváření clusteru. Cluster naváže toto připojení pomocí portu 443 (HTTPS) a používá jinou IP adresu, než se používá pro webovou aplikaci a rozhraní REST API.
Když řídicí rovina provádí úlohy správy clusteru, tyto požadavky se odešlou do clusteru prostřednictvím tohoto tunelu.

Poznámka:

Veškerý síťový provoz Azure Databricks mezi klasickou virtuální sítí výpočetní roviny a řídicí rovinou Azure Databricks prochází přes páteřnísítě Microsoftu, nikoli přes veřejný internet. To platí i v případě, že je zakázané zabezpečené připojení ke clusteru.

V novém pracovním prostoru můžete povolit bezpečné propojení clusteru nebo ho přidat do existujícího pracovního prostoru, který už využívá integraci do virtuální sítě .

Povolení zabezpečeného připojení clusteru v novém pracovním prostoru

Zabezpečené připojení ke clusteru můžete povolit při vytváření pracovního prostoru pomocí webu Azure Portal nebo šablony Azure Resource Manageru (ARM).

Azure Portal: Když zřídíte pracovní prostor, na kartě Sítě a nastavte Nasadit pracovní prostor Azure Databricks se zabezpečeným připojením ke clusteru (bez veřejné IP adresy)Ano.

Podrobné pokyny k vytvoření pracovního prostoru pomocí webu Azure Portal najdete v tématu Vytvoření pracovního prostoru Azure Databricks pomocí portálu.
Šablona ARM: V prostředku Microsoft.Databricks/workspaces, který slouží k vytvoření nového pracovního prostoru, nastavte logický parametr enableNoPublicIp na hodnotu true.

Podrobné pokyny k vytvoření pracovního prostoru pomocí šablony ARM najdete v tématu Nasazení pracovního prostoru pomocí šablony ARM. Šablony ARM, které používají injektáž virtuální sítě, najdete v tématu Pokročilá konfigurace pomocí šablon Azure Resource Manageru.

Přidání zabezpečeného připojení clusteru k existujícímu pracovnímu prostoru

Zabezpečené připojení ke clusteru můžete povolit u existujícího pracovního prostoru pomocí webu Azure Portal, šablony ARM nebo azurerm poskytovatele Terraformu verze 3.41.0 nebo novější. Upgrade vyžaduje, aby pracovní prostor používal injektáž virtuální sítě.

Důležité

Pokud k řízení příchozího nebo výchozího přenosu dat z klasické výpočetní roviny používáte bránu firewall nebo jinou konfiguraci sítě, možná budete muset aktualizovat pravidla brány firewall nebo skupiny zabezpečení sítě současně s těmito změnami, aby se plně projevily. Například při použití zabezpečeného připojení ke clusteru existuje další odchozí připojení k řídicí rovině a příchozí připojení z řídicí roviny se už nepoužívají.

Krok 1: Zastavení všech výpočetních prostředků

Zastavte všechny klasické výpočetní prostředky, jako jsou clustery, fondy nebo klasické služby SQL Warehouse. Databricks doporučuje naplánovat načasování upgradu na dobu výpadku.

Krok 2: Aktualizace pracovního prostoru

Pracovní prostor můžete aktualizovat pomocí webu Azure Portal, šablony ARM nebo Terraformu.

Použití webu Azure Portal

Na webu Azure Portal přejděte do svého pracovního prostoru Azure Databricks.
V levém navigačním panelu v části Nastavení klikněte na Sítě.
Na kartě Přístup k síti nastavte Nasadit pracovní prostor Azure Databricks se zabezpečeným připojením clusteru (bez veřejné IP adresy) na Povoleno.
Klikněte na Uložit.

Dokončení aktualizace sítě může trvat více než 15 minut.

Použití aktualizované šablony ARM pomocí webu Azure Portal

Pomocí šablony ARM nastavte parametr enableNoPublicIp na True (true).

Poznámka:

Pokud má vaše spravovaná skupina prostředků vlastní název, musíte šablonu odpovídajícím způsobem upravit. Další informace získáte od týmu účtu Azure Databricks.

Zkopírujte následující kód JSON šablony ARM upgradu:

  {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
              "2018-04-01",
              "2020-02-15",
              "2022-04-01-preview",
              "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

Přejděte na stránku Vlastní nasazení webu Azure Portal.
V editoru klikněte na Vytvořit vlastní šablonu.
Vložte json pro zkopírovanou šablonu.
Klikněte na Uložit.
Vyplňte parametry.
Chcete-li aktualizovat existující pracovní prostor, použijte stejné parametry, které jste použili k vytvoření jiného pracovního prostoru, než enableNoPublicIp na který je nutné nastavit true. Nastavte předplatné, oblast, název pracovního prostoru, názvy podsítí, ID prostředku existující virtuální sítě.

Důležité

Název skupiny prostředků, název pracovního prostoru a názvy podsítí jsou shodné s existujícím pracovním prostorem, aby tento příkaz aktualizoval existující pracovní prostor a nevytvoil nový pracovní prostor.
Klikněte na Zkontrolovat a vytvořit.
Pokud neexistují žádné problémy s ověřením, klikněte na Vytvořit.

Dokončení aktualizace sítě může trvat více než 15 minut.

Použití aktualizace pomocí Terraformu

U pracovních prostorů vytvořených pomocí Terraformu můžete pracovní prostor aktualizovat bez opětovného vytvoření pracovního prostoru.

Důležité

Musíte použít terraform-provider-azurerm verzi 3.41.0 nebo novější, proto podle potřeby upgradujte verzi poskytovatele Terraformu. Pokud některé z těchto nastavení změníte, pokusí se starší verze pracovní prostor znovu vytvořit.

Změňte následující nastavení pracovního prostoru:

no_public_ip custom_parameters v bloku lze změnit z false na true.

Dokončení aktualizace sítě může trvat více než 15 minut.

Krok 3: Ověření aktualizace

Jakmile je pracovní prostor v aktivním stavu, úloha aktualizace se dokončí. Ověřte, že byla aktualizace použita:

Otevřete Azure Databricks ve webovém prohlížeči.
Spusťte jeden z clusterů pracovního prostoru a počkejte, až se cluster úplně spustí.
Na webu Azure Portal přejděte ke své instanci pracovního prostoru.
Klikněte na modré ID vedle popisku pole Spravovaná skupina prostředků.
V této skupině vyhledejte virtuální počítače pro cluster a klikněte na jeden z nich.
V nastavení virtuálního počítače v části Vlastnosti vyhledejte pole v oblasti Sítě .
Ověřte, že je pole Veřejné IP adresy prázdné.

Pokud je virtuální počítač naplněný, má veřejnou IP adresu, což znamená, že aktualizace selhala.

Dočasné vrácení upgradu na zabezpečené připojení clusteru

Pokud během nasazení něco selže, můžete proces dočasně vrátit zpět, ale zakázání SCC v pracovním prostoru je možné pouze jako dočasné řešení pro obnovení před pokračováním v upgradu později. Pokud je to nutné dočasně, můžete postupovat podle výše uvedených pokynů pro upgrade, ale nastavit enableNoPublicIp na false hodnotu true.

Výchozí přenos dat z podsítí pracovního prostoru

Když povolíte zabezpečené připojení ke clusteru, obě podsítě pracovního prostoru jsou privátní podsítě, protože uzly clusteru nemají veřejné IP adresy.

Podrobnosti implementace síťového odchozího provozu se liší v závislosti na tom, jestli používáte výchozí (spravovanou) virtuální síť, nebo jestli používáte injekci do virtuální sítě k poskytnutí vlastní virtuální sítě, ve které se má pracovní prostor nasadit.

Důležité

Při použití zabezpečeného připojení ke clusteru můžou vzniknout další náklady kvůli zvýšenému odchozímu provozu. Pro nejbezpečnější nasazení důrazně doporučuje Microsoft a Databricks povolit zabezpečené připojení ke clusteru.

Výchozí přenos dat s výchozí (spravovanou) virtuální sítí

Pokud používáte zabezpečené připojení clusteru s výchozí virtuální sítí, kterou Azure Databricks vytvoří, Azure Databricks automaticky vytvoří bránu NAT pro odchozí provoz z podsítí vašeho pracovního prostoru do páteřní a veřejné sítě Azure. Brána NAT se vytvoří ve spravované skupině prostředků spravované službou Azure Databricks. Tuto skupinu prostředků ani žádné prostředky zřízené v této skupině prostředků nelze změnit. Za tuto bránu NAT se účtují další náklady.

Výchozí přenos dat pomocí injektáže virtuální sítě

Pokud povolíte zabezpečené připojení clusteru ve vašem pracovním prostoru, který používá VNet injektáž, Databricks doporučuje, aby měl váš pracovní prostor stabilní veřejnou IP adresu pro odchozí přenosy. Stabilní veřejné IP adresy pro výchozí přenos dat jsou užitečné, protože je můžete přidat do externích seznamů povolených přenosů dat. Pokud se například chcete připojit z Azure Databricks k Salesforce se stabilní odchozí IP adresou.

Upozorňující

Microsoft oznámil, že 30. září 2025 se výchozí odchozí přístup pro virtuální počítače v Azure vyřadí z důchodu. Podívejte se na toto oznámení. To znamená, že stávající pracovní prostory Azure Databricks, které používají výchozí odchozí přístup místo stabilní veřejné IP adresy výchozího přenosu dat, nemusí po tomto datu dál fungovat. Databricks doporučuje přidat explicitní odchozí metody pro pracovní prostory před tímto datem.

Pokud chcete přidat explicitní odchozí metody pro pracovní prostor, použijte bránu Azure NAT Gateway nebo trasy definované uživatelem.

azure NAT Gateway: Pokud vaše nasazení potřebují jenom nějaké přizpůsobení, použijte bránu Azure NAT Gateway. Nakonfigurujte bránu v obou podsítích pracovního prostoru, abyste zajistili, že veškerý odchozí provoz do páteřní sítě Azure a veřejné sítě prochází. Clustery mají stabilní veřejnou IP adresu pro výchozí přenos dat a můžete upravit konfiguraci pro potřeby vlastního výchozího přenosu dat. Můžete to nakonfigurovat pomocí šablony Azure nebo z webu Azure Portal.
trasy definované uživatelem: Použijte trasy definované uživatelem, pokud vaše nasazení vyžadují složité požadavky na směrování nebo vaše pracovní prostory používají vložení VNet s výstupním firewallem. Trasy definované uživatelem zajišťují správné směrování síťového provozu pro váš pracovní prostor, a to buď přímo do požadovaných koncových bodů, nebo přes bránu firewall výchozího přenosu dat. Pokud chcete používat trasy definované uživatelem (UDR), musíte přidat přímé trasy nebo povolená pravidla brány firewall pro relé zabezpečeného připojení ke clusteru Azure Databricks a další požadované koncové body uvedené v Nastavení tras definovaných uživatelem pro Azure Databricks.

Upozorňující

Nepoužívejte výchozí nástroj pro vyrovnávání zatížení s pracovním prostorem, který má povolené zabezpečené připojení ke clusteru. V produkčních systémech může výchozí nástroj pro vyrovnávání zatížení vést k riziku vyčerpání portů.

Sdílet prostřednictvím

Povolení zabezpečeného připojení ke clusteru

Přehled zabezpečeného připojení ke clusteru

Povolení zabezpečeného připojení clusteru v novém pracovním prostoru

Přidání zabezpečeného připojení clusteru k existujícímu pracovnímu prostoru

Krok 1: Zastavení všech výpočetních prostředků

Krok 2: Aktualizace pracovního prostoru

Použití webu Azure Portal

Použití aktualizované šablony ARM pomocí webu Azure Portal

Použití aktualizace pomocí Terraformu

Krok 3: Ověření aktualizace

Dočasné vrácení upgradu na zabezpečené připojení clusteru

Výchozí přenos dat z podsítí pracovního prostoru

Výchozí přenos dat s výchozí (spravovanou) virtuální sítí

Výchozí přenos dat pomocí injektáže virtuální sítě

Váš názor

Další materiály