Nakonfigurujte pro clustery Azure HDInsight odchozí síťový provoz přes bránu firewall.

Tento článek obsahuje postup zabezpečení odchozího provozu z clusteru HDInsight pomocí služby Azure Firewall. Následující postup předpokládá, že konfigurujete bránu Azure Firewall pro existující cluster. Pokud nasazujete nový cluster za bránou firewall, nejprve vytvořte cluster a podsíť HDInsight. Pak postupujte podle kroků v tomto průvodci.

Pozadí

Clustery HDInsight se obvykle nasazují ve virtuální síti. Cluster má závislosti na službách mimo danou virtuální síť.

Příchozí provoz správy nejde odesílat přes bránu firewall. Značky služby NSG můžete použít pro příchozí provoz, jak je uvedeno tady.

Závislosti odchozího provozu SLUŽBY HDInsight jsou téměř zcela definované plně kvalifikovanými názvy domén. Které nemají za sebou statické IP adresy. Nedostatek statických adres znamená, že skupiny zabezpečení sítě (NSG) nemůžou uzamknout odchozí provoz z clusteru. IP adresy se často mění tak, že není možné nastavit pravidla na základě aktuálního překladu ip adres a použití.

Zabezpečte odchozí adresy pomocí brány firewall, která může řídit odchozí provoz na základě plně kvalifikovaných názvů domén. Azure Firewall omezuje odchozí provoz na základě plně kvalifikovaného názvu domény cílové značky nebo značky plně kvalifikovaného názvu domény.

Konfigurace služby Azure Firewall se službou HDInsight

Shrnutí kroků pro uzamčení výchozího přenosu dat z existující služby HDInsight pomocí služby Azure Firewall jsou:

1. Vytvořte podsíť.
2. Vytvořte bránu firewall.
3. Add application pravidla pro bránu firewall.
4. Přidejte do brány firewall pravidla sítě.
5. Vytvořte směrovací tabulku.

Vytvoření nové podsítě

Ve virtuální síti, ve které existuje váš cluster, vytvořte podsíť s názvem AzureFirewallSubnet .

Vytvoření nové brány firewall pro cluster

Vytvořte bránu firewall s názvem Test-FW01 pomocí postupu nasazení brány firewall z kurzu: Nasazení a konfigurace služby Azure Firewall pomocí webu Azure Portal.

Konfigurace brány firewall s pravidly aplikace

Vytvořte kolekci pravidel aplikace, která clusteru umožňuje odesílat a přijímat důležité komunikace.

1. Na webu Azure Portal vyberte novou bránu firewall Test-FW01 .

2. Přejděte do kolekce>+ Add application rule collection pravidel pravidel>nastavení.>

   

3. Add application rule collection Na obrazovce zadejte následující informace:

   Horní oddíl

   Vlastnost	Hodnota
   Name	FwAppRule
   Priorita	200
   Akce	Povolit

   Oddíl značek plně kvalifikovaných názvů domén

   Název	Zdrojová adresa	Značka plně kvalifikovaného názvu domény	Notes
   Rule_1	*	WindowsUpdate a HDInsight	Požadováno pro služby HDI

   Oddíl Cílových plně kvalifikovaných názvů domén

   Název	Zdrojové adresy	Protokol: Port	Cílové plně kvalifikované názvy domén	Notes
   Rule_2	*	HTTPS:443	login.windows.net	Umožňuje aktivitu přihlášení k Windows.
   Rule_3	*	HTTPS:443	login.microsoftonline.com	Umožňuje aktivitu přihlášení k Windows.
   Rule_4	*	HTTPS:443	storage_account_name.blob.core.windows.net	Nahraďte storage_account_name skutečným názvem účtu úložiště. Ujistěte se, že je v účtu úložiště povolený zabezpečený přenos . Pokud pro přístup k účtům úložiště používáte privátní koncový bod, tento krok není potřeba a provoz úložiště se nepřesměrovává do brány firewall.
   Rule_5	*	http:80	azure.archive.ubuntu.com	Umožňuje instalaci aktualizací zabezpečení Ubuntu v clusteru.
   Rule_6	*	https:433	pypi.org, pypi.python.org, files.pythonhosted.org	Umožňuje instalaci balíčků Pythonu pro monitorování Azure.

   

4. Vyberte Přidat.

Konfigurace brány firewall s pravidly sítě

Vytvořte síťová pravidla pro správnou konfiguraci clusteru HDInsight.

1. Pokračujte z předchozího kroku a přejděte do kolekce>+ Add network rule collection pravidel sítě.

2. Add network rule collection Na obrazovce zadejte následující informace:

   Horní oddíl

   Vlastnost	Hodnota
   Name	FwNetRule
   Priorita	200
   Akce	Povolit

   Oddíl Značky služeb

   Název	Protokol	Zdrojové adresy	Značky služeb	Cílové porty	Notes
   Rule_6	TCP	*	SQL	1433, 11000-11999	Pokud používáte výchozí sql servery poskytované službou HDInsight, nakonfigurujte pravidlo sítě v části Značky služeb pro SQL, které vám umožní protokolovat a auditovat provoz SQL. Pokud jste nenakonfigurovali koncové body služby pro SQL Server v podsíti HDInsight, která bránu firewall vynechá. Pokud používáte vlastní SQL server pro Ambari, Oozie, Ranger a metastore Hive, stačí povolit provoz jenom na vlastní SQL Servery. Podívejte se na architekturu připojení Azure SQL Database a Azure Synapse Analytics a zjistěte, proč je kromě 1433 potřeba rozsah portů 11000–11999.
   Rule_7	TCP	*	Azure Monitor	*	(volitelné) Zákazníci, kteří plánují používat funkci automatického škálování, by měli toto pravidlo přidat.

   

3. Vyberte Přidat.

Vytvoření a konfigurace směrovací tabulky

Vytvořte směrovací tabulku s následujícími položkami:

• Všechny IP adresy ze služeb Stav a správa s typem dalšího segmentu směrování internetu. Měla by obsahovat 4 IP adresy obecných oblastí a také 2 IP adresy pro vaši konkrétní oblast. Toto pravidlo je potřeba pouze v případě, že je resourceProviderConnection nastavený na Příchozí. Pokud je resourceProviderConnection nastavený na Odchozí , tyto IP adresy nejsou potřeba v trasách definovanou uživatelem.

• Jedna trasa virtuálního zařízení pro IP adresu 0.0.0.0/0 s dalším segmentem směrování, který je vaší privátní IP adresou služby Azure Firewall.

Pokud chcete například nakonfigurovat směrovací tabulku pro cluster vytvořený v oblasti USA – východ, postupujte takto:

1. Vyberte test brány Azure Firewall Test-FW01. Zkopírujte privátní IP adresu uvedenou na stránce Přehled. V tomto příkladu použijeme ukázkovou adresu 10.0.2.4.

2. Pak přejděte na Všechny služby>Síťové>směrovací tabulky a vytvořte směrovací tabulku.

3. Z nové trasy přejděte na Nastavení>Trasy> + Přidat. Přidejte následující trasy:

Název trasy	Předpona adresy	Typ dalšího směrování	Adresa dalšího segmentu
168.61.49.99	168.61.49.99/32	Internet	NA
23.99.5.239	23.99.5.239/32	Internet	NA
168.61.48.131	168.61.48.131/32	Internet	NA
138.91.141.162	138.91.141.162/32	Internet	NA
13.82.225.233	13.82.225.233/32	Internet	NA
40.71.175.99	40.71.175.99/32	Internet	NA
0.0.0.0	0.0.0.0/0	Virtuální zařízení	10.0.2.4

Dokončete konfiguraci směrovací tabulky:

1. Přiřaďte směrovací tabulku, kterou jste vytvořili k podsíti HDInsight, výběrem podsítí v části Nastavení.

2. Vyberte + Přidružit.

3. Na obrazovce Přidružit podsíť vyberte virtuální síť, do které byl cluster vytvořen. A podsíť, kterou jste použili pro cluster HDInsight.

4. Vyberte OK.

Provoz hraničních uzlů nebo vlastních aplikací

Výše uvedené kroky umožní clusteru pracovat bez problémů. Stále potřebujete nakonfigurovat závislosti tak, aby vyhovovaly vašim vlastním aplikacím běžícím na hraničních uzlech, pokud je to možné.

Závislosti aplikací musí být identifikovány a přidány do brány Azure Firewall nebo směrovací tabulky.

Aby nedocházelo k problémům s asymetrickým směrováním, je nutné vytvořit trasy pro provoz aplikace.

Pokud vaše aplikace mají jiné závislosti, je potřeba je přidat do brány Azure Firewall. Vytvořte pravidla aplikace, která povolí provoz HTTP/HTTPS a pravidla sítě pro všechno ostatní.

Protokolování a škálování

Azure Firewall může odesílat protokoly do několika různých systémů úložiště. Pokyny ke konfiguraci protokolování pro bránu firewall najdete v postupu v kurzu: Monitorování protokolů a metrik brány Azure Firewall.

Po dokončení nastavení protokolování můžete v případě, že používáte Log Analytics, zobrazit blokovaný provoz pomocí dotazu, například:

AzureDiagnostics | where msg_s contains "Deny" | where TimeGenerated >= ago(1h)

Integrace služby Azure Firewall s protokoly služby Azure Monitor je užitečná při prvním zprovoznění aplikace. Zvlášť když neznáte všechny závislosti aplikace. Další informace o protokolech služby Azure Monitor najdete v tématu Analýza dat protokolů ve službě Azure Monitor.

Další informace o limitech škálování služby Azure Firewall a zvýšení požadavků najdete v tomto dokumentu nebo v nejčastějších dotazech.

Přístup ke clusteru

Po úspěšném nastavení brány firewall můžete použít interní koncový bod (https://CLUSTERNAME-int.azurehdinsight.net) pro přístup k Ambari z virtuální sítě.

Pokud chcete použít veřejný koncový bod (https://CLUSTERNAME.azurehdinsight.net) nebo koncový bod ssh (CLUSTERNAME-ssh.azurehdinsight.net), ujistěte se, že máte správné trasy v směrovací tabulce a pravidlech skupiny zabezpečení sítě, abyste se vyhnuli problému s asymetrickým směrováním, který je zde vysvětlený. Konkrétně v tomto případě musíte povolit IP adresu klienta v pravidlech příchozí skupiny zabezpečení sítě a přidat ji také do směrovací tabulky definované uživatelem s dalším segmentem směrování nastaveným jako internet. Pokud směrování není správně nastavené, zobrazí se chyba časového limitu.

Další kroky

• Architektura virtuální sítě Azure HDInsight
• Konfigurace síťového virtuálního zařízení