Připojení pracovního prostoru Azure Databricks k vlastní místní síti

Tento článek ukazuje, jak vytvořit připojení z pracovního prostoru Azure Databricks k místní síti. Provoz se směruje přes tranzitní virtuální síť (VNet) do místní sítě s využitím následující hvězdicové topologie.

Pokud potřebujete pomoc s tímto průvodcem, obraťte se na týmy účtů Microsoft a Databricks.

Požadavky

Váš pracovní prostor Azure Databricks musí být nasazený ve vaší vlastní virtuální síti, označované také jako injektáž virtuální sítě.

Krok 1: Set nastavte tranzitní virtuální síť pomocí brány virtuální sítě Azure

Potřebujete bránu virtuální sítě Azure (ExpressRoute nebo VPN) ve virtuální síti přenosu nakonfigurovanou pomocí jedné z těchto metod. Pokud už máte příslušnou bránu, přeskočte na Partnerský vztah virtuální sítě Azure Databricks s tranzitní virtuální sítí.

Pokud už máte ExpressRoute set mezi vaší místní sítí a Azure, postupujte podle pokynů v tématu Konfigurace brány virtuální sítě pro ExpressRoute pomocí webu Azure Portal.

Jinak postupujte podle kroků 1 až 5 v části Konfigurace připojení brány VPN typu VNet-to-VNet pomocí webu Azure Portal.

Pokud potřebujete pomoc, obraťte se na tým účtu Microsoft.

Krok 2: Vytvoření partnerského vztahu virtuální sítě Azure Databricks s tranzitní virtuální sítí

Pokud je váš pracovní prostor Azure Databricks ve stejné virtuální síti jako brána virtuální sítě, přeskočte k vytváření tras definovaných uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks.

V opačném případě postupujte podle pokynů v partnerských virtuálních sítích a navazte partnerský vztah virtuální sítě Azure Databricks k tranzitní virtuální síti a vyberte následující možnosti:

• Použijte vzdálené brány na straně virtuální sítě Azure Databricks.
• Povolit průchod bránou na straně tranzitní virtuální sítě.

Podrobnosti najdete v tématu Vytvoření partnerského vztahu.

Poznámka:

Pokud vaše místní síťové připojení k Azure Databricks nefunguje s výše uvedenými nastaveními, můžete problém vyřešit také select možnost Povolit přesměrování provozu na obou stranách partnerského vztahu.

Informace o konfiguraci průchodu bránou VPN pro partnerský vztah virtuálních sítí najdete v tématu Konfigurace průchodu bránou VPN pro partnerský vztah virtuálních sítí.

Krok 3: Vytvoření tras definovaných uživatelem a jejich přidružení k podsítím virtuální sítě Azure Databricks

Jakmile vytvoříte partnerský vztah mezi virtuální sítí Azure Databricks s tranzitní virtuální sítí, Azure automaticky nakonfiguruje všechny trasy pomocí tranzitní virtuální sítě. Automatická konfigurace nezahrnuje návratovou trasu z uzlů clusteru do řídicí roviny Azure Databricks. Tyto vlastní trasy musíte vytvořit ručně pomocí uživatelsky definovaných tras.

1. Vytvoření trasy table, povolení šíření tras protokolu BGP.

   Poznámka:

   V některých případech šíření trasy protokolu BGP způsobí selhání při ověřování nastavení místního síťového připojení. Jako poslední možnost můžete zakázat šíření tras protokolu BGP.

2. Přidejte trasy definované uživatelem pro následující služby pomocí pokynů v části Vlastní trasy.

   Pokud je pro pracovní prostor povolené zabezpečené připojení clusteru (SCC), použijte místo IP adresy NAT řídicí roviny předávací IP adresu SCC.

   Zdroj	Předpona adresy	Typ dalšího směrování
   Výchozí	IP adresa překladu adres (NAT) řídicí roviny (Pouze v případě, že je SCC zakázaný)	Internet
   Výchozí	IP adresa přenosu SCC (Jenom v případě, že je povolená SCC)	Internet
   Výchozí	IP adresa webové aplikace	Internet
   Výchozí	IP adresa metastoru	Internet
   Výchozí	IP adresa úložiště objektů blob artefaktů	Internet
   Výchozí	IP adresa úložiště objektů blob protokolu	Internet
   Výchozí	IP adresa úložiště pracovního prostoru (ADLS)	Internet
   Výchozí	IP adresa úložiště pracovního prostoru (Blob) pro pracovní prostory vytvořené před 6. březnem 2023.	Internet
   Výchozí	Event Hubs IP	Internet

   Chcete-li get IP adresy pro každou z těchto služeb, postupujte podle pokynů v Nastavení vlastní uživatelské trasy pro Azure Databricks.

   Pokud trasa založená na PROTOKOLU IP při ověřování nastavení selže, můžete vytvořit koncový bod služby pro Microsoft.Storage , který bude směrovat veškerý provoz úložiště pracovního prostoru přes páteřní síť Azure. Pokud použijete tento přístup, nemusíte vytvářet trasy definované uživatelem pro úložiště pracovního prostoru.

   Poznámka:

   Pokud chcete z Azure Databricks přistupovat k jiným datovým službám Azure PaaS, jako je Cosmos DB nebo Azure Synapse Analytics, musíte do trasy tablepřidat trasy definované uživatelem. Přeložte každý koncový bod na jeho IP adresu pomocí nslookup nebo ekvivalentního příkazu.

3. Přidružte trasu table k veřejným a privátním podsítím v síti VNet služby Azure Databricks podle pokynů v části Přidružení trasy table k podsíti.

   Jakmile je vlastní trasa table přidružená k vašim podsítím virtuální sítě Azure Databricks, nemusíte upravovat pravidla odchozího zabezpečení ve skupině zabezpečení sítě. Například není nutné, aby pravidlo odchozích přenosů bylo konkrétnější, protože trasy budou řídit skutečné výchozí přenosy dat.

Krok 4: Ověření nastavení

Ověření nastavení:

1. Vytvořte cluster v pracovním prostoru Azure Databricks.

   Pokud se vytvoření clusteru nezdaří, projděte si pokyny k nastavení a zkuste alternativní možnosti konfigurace jednu po druhé.

   Pokud stále nemůžete vytvořit cluster, ověřte, že trasa table zahrnuje všechny požadované trasy definované uživatelem. Pokud jste použili koncové body služby místo tras definovaných uživatelem pro ADLS Gen2 (pro pracovní prostory vytvořené před 6. březnem 2023, Azure Blob Storage), zkontrolujte také tyto koncové body.

   Pokud stále nemůžete vytvořit cluster, požádejte o pomoc týmy účtů Microsoft a Databricks.

2. Pomocí následujícího příkazu odešlete příkaz ping na místní IP adresu z poznámkového bloku:

   %sh
   ping <IP>
   

Další pokyny k řešení potíží najdete v těchto zdrojích informací:

• Řešení potíží
• Řešení problému

Volitelné kroky konfigurace

Možnost: Směrování provozu Azure Databricks pomocí virtuálního zařízení nebo brány firewall

Veškerý odchozí provoz z uzlů clusteru Azure Databricks můžete filtrovat pomocí brány firewall nebo zařízení ochrany před únikem informací, jako je Azure Firewall, Palo Alto nebo Barracuda. To umožňuje zkontrolovat odchozí provoz, aby splňoval bezpečnostní zásady, a přidat jedinou veřejnou IP adresu ve stylu NAT nebo CIDR pro všechny clustery do povoleného pravidla list.

Podle potřeby upravte tento postup pro zařízení brány firewall nebo ochrany před únikem informací:

1. Set nastavte virtuální zařízení nebo firewall v rámci tranzitní virtuální sítě podle pokynů v Vytvoření síťového virtuálního zařízení.

   Pokud potřebujete jednu konfiguraci brány firewall pro více pracovních prostorů, můžete bránu firewall vytvořit v zabezpečené podsíti nebo podsíti DMZ ve virtuální síti Azure Databricks, která je oddělená od stávajících privátních a veřejných podsítí.

2. Vytvořte další trasu v vlastní trase table na 0.0.0.0/0.

   • Set typ následujícího hopsání na "Virtuální zařízení".

   • Set adresa následujícího skoku.

     Nevytvádejte remove trasy, které jste vytvořili v kroku 3 : Vytvořte trasy definované uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks, s jednou výjimkou: Pokud je potřeba směrovat veškerý provoz objektů blob přes bránu firewall, můžete remove trasy pro provoz objektů blob.

3. Pokud používáte přístup k zabezpečené podsíti nebo podsíti DMZ, můžete vytvořit další trasu table přidruženou výhradně k podsíti DMZ. V této trase tablevytvořte trasu na 0.0.0.0.

   Set typ dalšího směrování na internet, pokud je provoz určený pro veřejnou síť, nebo na virtuální síťovou bránu, pokud je provoz určený pro místní síť.

4. Nakonfigurujte pravidla povolení a deny v zařízení brány firewall.

   Pokud jste odebrali trasy pro úložiště objektů blob, přidejte tyto trasy do pravidla list v bráně firewall.

   Pokud vaše clustery závisí na veřejných úložištích, jako jsou úložiště operačního systému nebo registry kontejnerů, přidejte je do seznamu povolení list.

   Informace o seznamech povolených adres najdete v tématu Nastavení trasy definované uživatelem pro Azure Databricks.

Možnost: Konfigurace vlastního DNS

Vlastní DNS můžete použít s pracovními prostory Azure Databricks nasazenými ve vlastní virtuální síti. Další informace o konfiguraci vlastního DNS pro virtuální síť Azure najdete v následujících článcích Microsoftu:

• Překlad IP adres, který využívá váš vlastní server DNS
• Určení serverů DNS

.. Důležitá informace: Pokud chcete vyřešit IP adresy pro artefakty Azure, musíte nakonfigurovat vlastní DNS tak, aby předávala tyto požadavky rekurzivnímu překladači Azure.