Řízení síťového provozu ze služby HDInsight na poolech clusterů a clusterech AKS.

Důležitý

Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Další informace s tímto oznámením.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nebyly vydány v obecné dostupnosti. Informace o této konkrétní verzi náhledu najdete v tématu Azure HDInsight na AKS. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost o AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích komunity Azure HDInsight.

HDInsight v AKS je spravovaná platforma jako služba (PaaS), která běží ve službě Azure Kubernetes Service (AKS). HDInsight v AKS umožňuje nasadit oblíbené úlohy Open-Source Analytics, jako jsou Apache Spark™, Apache Flink®️ a Trino, bez režie při správě a monitorování kontejnerů.

Ve výchozím nastavení služba HDInsight v clusterech AKS umožňuje odchozí síťová připojení z clusterů do libovolného cíle, pokud je cíl dostupný ze síťového rozhraní uzlu. To znamená, že prostředky clusteru mají přístup k jakékoli veřejné nebo privátní IP adrese, názvu domény nebo adrese URL na internetu nebo ve vaší virtuální síti.

V některých scénářích ale můžete chtít řídit nebo omezit odchozí provoz z clusteru z důvodů zabezpečení a dodržování předpisů.

Můžete například chtít:

• Zabrání clusterům v přístupu ke škodlivým nebo nežádoucím službám.

• Prosazujte zásady sítě nebo pravidla firewallu pro odchozí provoz.

• Monitorujte nebo auditujte odchozí provoz z clusteru pro účely řešení potíží nebo dodržování předpisů.

Metody a nástroje pro řízení odchozího provozu

Máte různé možnosti a nástroje pro správu toku výchozího provozu ze služby HDInsight v clusterech AKS. Některé z nich můžete nastavit na úrovni fondu clusterů a jiné na úrovni clusteru.

• Odchozí s vyrovnávačem zatížení. Když nasadíte clusterový fond s touto cestou výstupu, zřídí se veřejná IP adresa a přiřadí se k prostředku vyrovnávače zatížení. Vlastní virtuální síť se nevyžaduje; důrazně se však doporučuje. Pomocí služby Azure Firewall nebo skupin zabezpečení sítě (NSG) ve vlastní virtuální síti můžete spravovat provoz, který opustí síť.

• Odchozí směrování definované uživatelem. Když nasadíte fond clusteru s touto cestou výchozího přenosu dat, může uživatel spravovat odchozí provoz na úrovni podsítě pomocí služby Azure Firewall / NAT Gateway a vlastních směrovacích tabulek. Tato možnost je dostupná pouze při použití vlastní virtuální sítě.

• Povolte privátní AKS. Když ve fondu clusterů povolíte privátní AKS, přiřadí se serveru rozhraní API AKS interní IP adresa, která nebude veřejně přístupná. Síťový provoz mezi serverem rozhraní API AKS a službou HDInsight ve fondech uzlů AKS zůstane v privátní síti.

• Privátní cluster příchozího přenosu dat. Když nasadíte cluster s povolenou možností privátního příchozího přenosu dat, nevytvoře se žádná veřejná IP adresa a cluster bude přístupný jenom z klientů ve stejné virtuální síti. Pokud se chcete připojit k odchozím a veřejným HDInsight s závislostí na AKS, musíte poskytnout vlastní řešení NAT, jako je brána NAT nebo NAT poskytované vaším firewallem.

V následujících částech podrobně popisujeme jednotlivé metody.

Odchozí provoz s vyrovnávačem zatížení

Nástroj pro vyrovnávání zatížení se používá pro výchozí přenos dat prostřednictvím SLUŽBY HDInsight ve veřejné IP adrese přiřazené službou AKS. Při konfiguraci odchozího typu nástroje pro vyrovnávání zatížení ve fondu clusterů můžete očekávat výchozí přenos dat z nástroje pro vyrovnávání zatížení vytvořeného službou HDInsight v AKS.

Odchozí komunikaci s konfigurací pro vyrovnávání zatížení můžete nakonfigurovat pomocí portálu Azure.

Jakmile zvolíte tuto konfiguraci, služba HDInsight ve službě AKS automaticky dokončí vytvoření veřejné IP adresy zřízené pro výchozí přenos dat clusteru & přiřadí k prostředku nástroje pro vyrovnávání zatížení.

Veřejná IP adresa vytvořená službou HDInsight v AKS a je to prostředek spravovaný službou AKS, což znamená, že AKS spravuje životní cyklus této veřejné IP adresy a nevyžaduje akci uživatele přímo u prostředku veřejné IP adresy.

Při vytváření clusterů se vytvoří také určité veřejné IP adresy příchozího přenosu dat.

Pokud chcete povolit odesílání požadavků do clusteru, musíte přidat tento provoz do seznamu povolených. Můžete také nakonfigurovat určitá pravidla v NSG pro hrubé řízení.

Odchozí spojení s uživatelsky definovaným směrováním

Poznámka

Odchozí typ userDefinedRouting je pokročilý síťový scénář a dříve než začnete, vyžaduje správnou konfiguraci sítě.
Změna odchozího typu po vytvoření fondu clusteru není podporována.

Pokud je nastavená vlastnost userDefinedRouting, služba HDInsight v AKS automaticky nenakonfiguruje cesty výchozího přenosu dat. Nastavení výstupu musí provést uživatel.

HdInsight musíte nasadit v clusteru AKS do existující virtuální sítě s dříve nakonfigurovanou podsítí a musíte vytvořit explicitní výchozí přenos dat.

Tato architektura vyžaduje výslovné odeslání odchozího provozu do zařízení, jako je firewall, brána nebo proxy server, aby veřejnou IP adresu přiřazenou standardnímu vyrovnávači zatížení nebo zařízení bylo možné použít pro překlad síťových adres (NAT).

HDInsight na AKS nekonfiguruje odchozí veřejnou IP adresu ani odchozí pravidla, na rozdíl od clusterů s typem nástroje pro vyrovnávání zatížení, jak je popsáno v předchozí části. Vaše UDR je jediným zdrojem pro odchozí provoz.

U příchozího provozu musíte zvolit privátní cluster na základě požadavků (pro zabezpečení provozu na řídicí rovině AKS nebo serveru rozhraní API) a pro každý typ klastru vybrat privátní vstupní volbu, jež je dostupná pro použití veřejného nebo interního zátěžového vyrovnávače.

Vytvoření poolu clusterů pro odchozí provoz s userDefinedRouting

Pokud používáte HDInsight ve fondech clusterů AKS a jako výchozí cestu zvolíte userDefinedRouting (UDR), není zřízený žádný standardní nástroj pro vyrovnávání zatížení. Než může userDefinedRouting fungovat, musíte nastavit pravidla brány firewall pro odchozí prostředky.

Důležitý

Uživatelem definovaná trasa vyžaduje cestu pro 0.0.0.0/0 s cílem dalšího směrování na vaši bránu firewall nebo síťové virtuální zařízení v tabulce tras. Směrovací tabulka už má výchozí hodnotu 0.0.0.0/0 na internet. Odchozí připojení k internetu nemůžete získat pouhým přidáním této trasy, protože Azure potřebuje veřejnou IP adresu pro SNAT. AKS zkontroluje, že nevytváříte trasu 0.0.0.0/0 směřující na Internet, ale na gateway, NVA, atd. Pokud používáte trasu definovanou uživatelem, veřejná IP adresa pro vyrovnávání zatížení pro příchozí požadavky se vytvoří pouze tehdy, když nakonfigurujete službu typu loadbalancer. HDInsight v AKS nikdy nevytváří veřejnou IP adresu pro odchozí požadavky, když použijete uživatelsky definovanou trasu pro výchozí přenos.

Následující kroky vám porozumí, jak uzamknout odchozí provoz ze služby HDInsight ve službě AKS do back-endových prostředků Azure nebo jiných síťových prostředků pomocí služby Azure Firewall. Tato konfigurace pomáhá zabránit exfiltraci dat nebo riziku implantace škodlivého programu.

Azure Firewall umožňuje řídit odchozí provoz na mnohem podrobnější úrovni a filtrovat provoz na základě analýzy hrozeb v reálném čase od Microsoft Cyber Security. Můžete centrálně vytvářet, vynucovat a protokolovat zásady připojení aplikací a sítí napříč předplatnými a virtuálními sítěmi.

Následuje příklad nastavení pravidel brány firewall a testování odchozích připojení.

Tady je příklad konfigurace pravidel brány firewall a kontrola odchozích připojení.

1. Vytvořte požadovanou podsíť brány firewall

   Pokud chcete nasadit bránu firewall do integrované virtuální sítě, potřebujete podsíť s názvem AzureFirewallSubnet nebo název podle vašeho výběru.

   1. Na webu Azure Portal přejděte do virtuální sítě integrované s vaší aplikací.

   2. V levém navigačním panelu vyberte Podsítě > + podsíť.

   3. V Názevzadejte AzureFirewallSubnet.

   4. rozsah adres podsítě, přijměte výchozí nastavení nebo zadejte takový rozsah, který je alespoň /26.

   5. Vyberte Uložit.

2. Nasazení brány firewall a získání ip adresy

   1. V nabídce portálu Azure nebo na domovské stránce vyberte Vytvořit prostředek.

   2. Do vyhledávacího pole zadejte firewall a stiskněte Enter.

   3. Vyberte firewall a pak vyberte Vytvořit.

   4. Na stránce Vytvořit bránu firewall nakonfigurujte firewall, jak je uvedeno v následující tabulce:

      Nastavení	Hodnota
      Skupina prostředků	Stejná skupina prostředků jako integrovaná virtuální síť.
      Jméno	Název podle vašeho výběru
      Región	Stejná oblast jako integrovaná virtuální síť.
      Zásady brány firewall	Vytvořte ho tak, že vyberete Přidat nový.
      Virtuální síť	Vyberte integrovanou virtuální síť.
      Veřejná IP adresa	Vyberte existující adresu nebo ji vytvořte výběrem možnosti Přidat novou.

      

   5. Klikněte na Zkontrolovat a vytvořit.

   6. Vyberte Vytvořit znovu. Nasazení tohoto procesu trvá několik minut.

   7. Po dokončení nasazení přejděte do skupiny zdrojů a vyberte bránu firewall.

   8. Na stránce Přehled firewallu zkopírujte privátní IP adresu. Privátní IP adresa bude použita jako adresa dalšího skoku v pravidle směrování pro virtuální síť.

      

3. Směrujte veškerý provoz do brány firewall

   Když vytvoříte virtuální síť, Azure automaticky vytvoří výchozí směrovací tabulku pro každou z jejích podsítí a přidá do tabulky systémovévýchozí trasy. V tomto kroku vytvoříte směrovací tabulku definovanou uživatelem, která směruje veškerý provoz do brány firewall, a pak ji přidružíte k podsíti služby App Service v integrované virtuální síti.

   1. V nabídce webu Azure Portal vyberte Všechny služby nebo vyhledejte a na libovolné stránce vyberte Všechny služby.

   2. V části Síťovévyberte Směrovací tabulky.

   3. Vyberte Přidat.

   4. Nakonfigurujte směrovací tabulku jako v následujícím příkladu:

      

      Ujistěte se, že jste vybrali stejný region jako brána firewall, kterou jste vytvořili.

   5. Vyberte Zkontrolovat a vytvořit.

   6. Vyberte Vytvořit.

   7. Po dokončení nasazení vyberte Přejít k prostředku.

   8. V levém navigačním panelu vyberte Trasy > Přidat.

   9. Nakonfigurujte novou trasu, jak je znázorněno v následující tabulce:

      Nastavení	Hodnota
      Typ cíle	IP adresy
      Cílové IP adresy nebo rozsahy CIDR	0.0.0.0/0
      Typ dalšího skoku	Virtuální zařízení
      Adresa dalšího hopu	Privátní IP adresa brány firewall, kterou jste zkopírovali

   10. V levém navigačním panelu vyberte Podsítě > Přidružit.

   11. Ve virtuální síti vyberte integrovánou virtuální síť.

   12. V podsítivyberte podsíť HDInsight na AKS, kterou chcete použít.

       

   13. Vyberte OK.

4. Konfigurace zásad brány firewall

   Odchozí provoz z vaší služby HDInsight v podsíti AKS se nyní směruje přes integrovanou virtuální síť do firewallu. Pokud chcete řídit odchozí provoz, přidejte pravidlo aplikace do zásad brány firewall.

   1. Přejděte na stránku přehledu brány firewall a vyberte její pravidla brány firewall.

   2. Na stránce zásad brány firewall v levém navigačním panelu přidejte pravidla sítě a aplikace. Vyberte například Pravidla sítě > Přidat kolekci pravidel.

   3. V Pravidlapřidejte síťové pravidlo s podsítí jako zdrojovou adresu a zadejte cíl Plně Kvalifikovaného Názvu Domény. Podobně přidejte pravidla aplikace.

      1. Musíte přidat pravidla odchozího provozu uvedená zde. Viz tento dokument pro přidání pravidel aplikace a sítě pro umožnění provozu a funkčnost clusteru. (Po vytvoření fondu clusteru je potřeba přidat server rozhraní API AKS, protože po vytvoření fondu clusteru můžete získat pouze server rozhraní API AKS).
      2. Můžete také přidat privátní koncové body pro všechny závislé prostředky ve stejné podsíti, aby k nim měl cluster přístup (například úložiště).

   4. Vyberte Přidat.

5. Ověření vytvoření veřejné IP adresy

Při nastavení pravidel brány firewall můžete během vytváření fondu clusteru vybrat podsíť.

Po vytvoření fondu clusterů můžete sledovat ve skupině MC, že se nevytvořila žádná veřejná IP adresa.

Důležitý

Před vytvořením clusteru v nastavení fondu clusterů s cestou výchozího přenosu dat Outbound with userDefinedRouting musíte clusteru AKS, který odpovídá fondu clusterů, poskytnout roli Network Contributor na vašich síťových prostředcích, které se používají k definování směrování, jako je virtuální síť, směrovací tabulka a skupina zabezpečení sítě (pokud se používá). Další informace tady o tom, jak přiřadit roli

Poznámka

Když nasadíte fond clusteru s odchozí cestou definovanou uživatelem a soukromým clusterem pro příchozí data, služba HDInsight v AKS automaticky vytvoří soukromou zónu DNS a namapuje záznamy tak, aby přeložily FQDN (plně kvalifikovaný název domény) pro přístup ke clusteru.

Vytvoření fondu clusterů pomocí soukromého AKS

U privátní AKS má řídicí rovina nebo server rozhraní API interní IP adresy definované v RFC1918 – Přidělování adres pro privátní internetový dokument. Pomocí této možnosti privátního AKS můžete zajistit, aby síťový provoz mezi vaším serverem API a HDInsight na pracovních clusterech AKS zůstal pouze v privátní síti.

Když zřídíte privátní cluster AKS, AKS ve výchozím nastavení vytvoří privátní plně kvalifikovaný název domény s privátní zónou DNS a další veřejný plně kvalifikovaný název domény s odpovídajícím záznamem A ve veřejném DNS Azure. Uzly agenta nadále používají záznam v privátní zóně DNS k překladu privátní IP adresy privátního koncového bodu pro komunikaci se serverem rozhraní API.

HDInsight na AKS automaticky vloží záznam do soukromé DNS zóny ve spravované skupině vytvořené HDInsight na AKS, pro soukromý příchozí přenos.

Clustery s privátním vstupem

Když vytvoříte cluster se službou HDInsight v AKS, bude mít veřejný plně kvalifikovaný název domény a IP adresu, ke kterým může mít kdokoli přístup. Pomocí funkce privátního příchozího přenosu dat můžete zajistit, aby mezi klientem a HDInsight v clusteru AKS mohl odesílat a přijímat data pouze vaše privátní síť.

základní kartu Vytvořit cluster

Poznámka

Díky této funkci služba HDInsight v AKS automaticky vytvoří A-záznamy v soukromé DNS zóně pro vstup.

Tato funkce brání veřejnému přístupu k internetu ke clusteru. Cluster získá interní nástroj pro vyrovnávání zatížení a privátní IP adresu. HDInsight v AKS používá privátní zónu DNS, kterou fond clusteru vytvořil pro připojení virtuální sítě clusteru a překlad názvů.

Každý privátní cluster obsahuje dva plně kvalifikované názvy domén: veřejný plně kvalifikovaný název domény a privátní plně kvalifikovaný název domény.

Veřejný plně kvalifikovaný název domény: {clusterName}.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

Veřejný plně kvalifikovaný název domény se dá přeložit jenom na CNAME s subdoménou, proto se musí použít se správnými Private DNS zone setting, aby bylo možné plně kvalifikovaný název domény nakonec vyřešit a opravit privátní IP adresu.

Privátní DNS zóna by měla být schopna přeložit privátní FQDN na IP (privatelink.{clusterPoolName}.{subscriptionId}).

Poznámka

HDInsight v AKS vytvoří privátní zónu DNS ve fondu clusterů ve virtuální síti. Pokud jsou vaše klientské aplikace ve stejné virtuální síti, není nutné znovu nakonfigurovat privátní zónu DNS. V případě, že používáte klientskou aplikaci v jiné virtuální síti, je nutné použít partnerské propojení virtuálních sítí a připojit se k privátní DNS zóně ve virtuální síti fondu clusterů nebo použít privátní koncové body ve virtuální síti a privátní DNS zóny k přidání záznamu A do privátní IP adresy privátního koncového bodu.

Privátní plně kvalifikovaný název domény: {clusterName}.privatelink.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

Privátní plně kvalifikovaný název domény bude přiřazen výhradně ke clusterům s povoleným privátním přístupem. Jedná se o záznam A v privátní zóně DNS, který se překládá na privátní IP adresu clusteru.

Odkaz

• Začínáme s privátními clustery ve službě HDInsight v AKS pro zabezpečení analytických úloh.

• Směrování provozu virtuální sítě Azure.

• propojení virtuálních sítí Azure.

• odchozí provoz ve službě HDInsight v AKS – Azure HDInsight ve službě AKS

• Pravidla pro odchozí síť a plně kvalifikovaný doménový název pro clustery služby Azure Kubernetes (AKS) – služba Azure Kubernetes.