Sdílet prostřednictvím

Plánování virtuální sítě pro Azure HDInsight

  • Článek

Tento článek obsahuje základní informace o používání virtuálních sítí Azure se službou Azure HDInsight. Popisuje také rozhodnutí o návrhu a implementaci, která je potřeba provést před implementací virtuální sítě pro cluster HDInsight. Po dokončení fáze plánování můžete pokračovat vytvořením virtuálních sítí pro clustery Azure HDInsight. Další informace o IP adresách pro správu SLUŽBY HDInsight, které jsou potřeba k správné konfiguraci skupin zabezpečení sítě (NSG) a tras definovaných uživatelem, najdete v tématu IP adresy pro správu služby HDInsight.

Použití služby Azure Virtual Network umožňuje následující scénáře:

  • Připojení ke službě HDInsight přímo z místní sítě
  • Připojení SLUŽBY HDInsight k úložištím dat ve virtuální síti Azure
  • Přímý přístup ke službám Apache Hadoop, které nejsou veřejně dostupné přes internet. Například rozhraní Apache Kafka API nebo rozhraní Apache HBase Java API.

Důležité

Vytvoření clusteru HDInsight ve virtuální síti vytvoří několik síťových prostředků, jako jsou síťové karty a nástroje pro vyrovnávání zatížení. Neodstraňovat ani neupravovat tyto síťové prostředky, protože jsou potřeba pro správné fungování clusteru s virtuální sítí.

Plánování

Níže jsou uvedené otázky, na které musíte odpovědět při plánování instalace služby HDInsight ve virtuální síti:

  • Potřebujete nainstalovat HDInsight do existující virtuální sítě? Nebo vytváříte novou síť?

    Pokud používáte existující virtuální síť, možná budete muset před instalací služby HDInsight upravit konfiguraci sítě. Další informace najdete v přidaném oddílu HDInsight do existující části virtuální sítě .

  • Chcete připojit virtuální síť obsahující HDInsight k jiné virtuální síti nebo k místní síti?

    Abyste mohli snadno pracovat s prostředky napříč sítěmi, možná budete muset vytvořit vlastní DNS a nakonfigurovat přesměrování DNS. Další informace najdete v části připojení více sítí .

  • Chcete omezit nebo přesměrovat příchozí nebo odchozí provoz do SLUŽBY HDInsight?

    HDInsight musí mít neomezenou komunikaci s konkrétními IP adresami v datacentru Azure. Existuje také několik portů, které musí být povolené prostřednictvím bran firewall pro komunikaci klientů. Další informace najdete v tématu Řízení síťového provozu.

Přidání služby HDInsight do existující virtuální sítě

Pomocí kroků v této části zjistíte, jak přidat novou službu HDInsight do existující služby Azure Virtual Network.

Poznámka:

  • Existující cluster HDInsight nelze přidat do virtuální sítě.
  • Virtuální síť a vytvořený cluster musí být ve stejném předplatném.

  1. Používáte pro virtuální síť model nasazení Classic nebo Resource Manager?

    HDInsight 3.4 a novější vyžaduje virtuální síť Resource Manageru. Starší verze SLUŽBY HDInsight vyžadovaly klasickou virtuální síť.

    Pokud je vaše stávající síť klasickou virtuální sítí, musíte vytvořit virtuální síť Resource Manageru a pak obě připojit. Připojení klasických virtuálních sítí k novým virtuálním sítím

    Po připojení může služba HDInsight nainstalovaná v síti Resource Manageru pracovat s prostředky v klasické síti.

  2. Používáte skupiny zabezpečení sítě, trasy definované uživatelem nebo zařízení virtuálních sítí k omezení provozu do nebo z virtuální sítě?

    Služba HDInsight jako spravovaná služba vyžaduje neomezený přístup k několika IP adresám v datovém centru Azure. Pokud chcete povolit komunikaci s těmito IP adresami, aktualizujte všechny existující skupiny zabezpečení sítě nebo trasy definované uživatelem.

    HDInsight hostuje více služeb, které používají různé porty. Neblokujte provoz do těchto portů. Seznam portů, které se mají povolit přes brány firewall virtuálních zařízení, najdete v části Zabezpečení.

    Ke zjištění stávající konfigurace zabezpečení použijte následující příkazy Azure PowerShellu nebo Azure CLI:

    • Skupiny zabezpečení sítě

      Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

      Get-AzNetworkSecurityGroup -ResourceGroupName  "RESOURCEGROUP"

      az network nsg list --resource-group RESOURCEGROUP

      Další informace naleznete v tématu Řešení potíží se skupinami zabezpečení sítě v dokumentu.

      Důležité

      Pravidla skupin zabezpečení sítě se použijí v pořadí podle priority pravidla. Použije se první pravidlo, které odpovídá vzoru provozu, a pro tento provoz se nepoužijí žádné jiné. Pravidla objednávek od většiny permisivních až po nejméně permisivní. Další informace najdete v dokumentu Filtrování síťového provozu pomocí skupin zabezpečení sítě.

    • Trasy definované uživatelem

      Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

      Get-AzRouteTable -ResourceGroupName "RESOURCEGROUP"

      az network route-table list --resource-group RESOURCEGROUP

      Další informace najdete v dokumentu Diagnostika potíží se směrováním virtuálních počítačů.

  3. Vytvořte cluster HDInsight a během konfigurace vyberte virtuální síť Azure. Pomocí kroků v následujících dokumentech se seznamte s procesem vytváření clusteru:

    Důležité

    Přidání SLUŽBY HDInsight do virtuální sítě je volitelný krok konfigurace. Při konfiguraci clusteru nezapomeňte vybrat virtuální síť.

Připojení více sítí

Největší výzvou při konfiguraci více sítí je překlad názvů mezi sítěmi.

Azure poskytuje překlad názvů pro služby Azure nainstalované ve virtuální síti. Tento integrovaný překlad názvů umožňuje službě HDInsight připojit se k následujícím prostředkům pomocí plně kvalifikovaného názvu domény (FQDN):

  • Jakýkoli prostředek, který je k dispozici na internetu. Například microsoft.com, windowsupdate.com.

  • Jakýkoli prostředek, který je ve stejné virtuální síti Azure, pomocí interního názvu DNS prostředku. Například při použití výchozího překladu názvů jsou následující příklady interních názvů DNS přiřazených pracovním uzlům HDInsight:

    • <workername1.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net>

    • <workername2.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net>

      Oba tyto uzly můžou vzájemně komunikovat přímo a další uzly v HDInsight pomocí interních názvů DNS.

Výchozí překlad názvů neumožňuje službě HDInsight přeložit názvy prostředků v sítích připojených k virtuální síti. Například je běžné připojit místní síť k virtuální síti. S pouze výchozím překladem názvů nemůže HDInsight přistupovat k prostředkům v místní síti podle názvu. Opak je také pravdivý, prostředky ve vaší místní síti nemají přístup k prostředkům ve virtuální síti podle názvu.

Upozorňující

Před vytvořením clusteru HDInsight musíte vytvořit vlastní server DNS a nakonfigurovat virtuální síť tak, aby ji používala.

Pokud chcete povolit překlad názvů mezi virtuální sítí a prostředky v připojených sítích, musíte provést následující akce:

  1. Ve službě Azure Virtual Network vytvořte vlastní server DNS, ve kterém plánujete nainstalovat HDInsight.

  2. Nakonfigurujte virtuální síť tak, aby používala vlastní server DNS.

  3. Vyhledejte příponu DNS přiřazenou Azure pro vaši virtuální síť. Tato hodnota je podobná 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net. Informace o vyhledání přípony DNS najdete v části Příklad: Vlastní DNS .

  4. Nakonfigurujte předávání mezi servery DNS. Konfigurace závisí na typu vzdálené sítě.

    • Pokud je vzdálená síť místní sítí, nakonfigurujte DNS následujícím způsobem:

      • Vlastní DNS (ve virtuální síti):

        • Předávat požadavky na příponu DNS virtuální sítě do rekurzivního překladače Azure (168.63.129.16). Azure zpracovává požadavky na prostředky ve virtuální síti.

        • Všechny ostatní požadavky předáte místnímu serveru DNS. Místní DNS zpracovává všechny ostatní požadavky na překlad ip adres, a to i požadavky na internetové prostředky, jako je Microsoft.com.

      • Místní DNS: Předávat požadavky na příponu DNS virtuální sítě vlastnímu serveru DNS. Vlastní server DNS pak předá rekurzivní překladač Azure.

        Tato konfigurace směruje požadavky na plně kvalifikované názvy domén, které obsahují příponu DNS virtuální sítě, na vlastní server DNS. Všechny ostatní požadavky (i pro veřejné internetové adresy) zpracovává místní server DNS.

    • Pokud je vzdálená síť jinou službou Azure Virtual Network, nakonfigurujte DNS následujícím způsobem:

      • Vlastní DNS (v každé virtuální síti):

        • Požadavky na příponu DNS virtuálních sítí se předávají vlastním serverům DNS. DNS v každé virtuální síti zodpovídá za překlad prostředků v rámci své sítě.

        • Všechny ostatní požadavky předáte rekurzivnímu překladače Azure. Rekurzivní překladač zodpovídá za překlad místních a internetových prostředků.

        Server DNS pro každou síť předává požadavky druhé na základě přípony DNS. Ostatní požadavky se přeloží pomocí rekurzivního překladače Azure.

      Příklad každé konfigurace najdete v části Příklad: Vlastní DNS .

Další informace najdete v dokumentu Překlad názvů pro virtuální počítače a instance rolí.

Přímé připojení ke službám Apache Hadoop

Ke clusteru se můžete připojit na adrese https://CLUSTERNAME.azurehdinsight.net. Tato adresa používá veřejnou IP adresu, která nemusí být dostupná, pokud jste k omezení příchozího provozu z internetu použili skupiny zabezpečení sítě. Kromě toho, když nasadíte cluster ve virtuální síti, můžete k němu přistupovat pomocí privátního koncového bodu https://CLUSTERNAME-int.azurehdinsight.net. Tento koncový bod se přeloží na privátní IP adresu uvnitř virtuální sítě pro přístup ke clusteru.

Pokud se chcete připojit k Apache Ambari a dalším webovým stránkám přes virtuální síť, postupujte následovně:

  1. Pokud chcete zjistit interní plně kvalifikované názvy domén (FQDN) uzlů clusteru HDInsight, použijte jednu z následujících metod:

    Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

    $clusterNICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP" | where-object {$_.Name -like "*node*"}

$nodes = @()
foreach($nic in $clusterNICs) {
    $node = new-object System.Object
    $node | add-member -MemberType NoteProperty -name "Type" -value $nic.Name.Split('-')[1]
    $node | add-member -MemberType NoteProperty -name "InternalIP" -value $nic.IpConfigurations.PrivateIpAddress
    $node | add-member -MemberType NoteProperty -name "InternalFQDN" -value $nic.DnsSettings.InternalFqdn
    $nodes += $node
}
$nodes | sort-object Type

    az network nic list --resource-group RESOURCEGROUP --output table --query "[?contains(name, 'node')].{NICname:name,InternalIP:ipConfigurations[0].privateIpAddress,InternalFQDN:dnsSettings.internalFqdn}"

    V seznamu vrácených uzlů vyhledejte plně kvalifikovaný název domény pro hlavní uzly a pomocí plně kvalifikovaných názvů domén se připojte k Ambari a dalším webovým službám. Například se používá http://<headnode-fqdn>:8080 pro přístup k Ambari.

    Důležité

    Některé služby hostované v hlavních uzlech jsou aktivní jenom na jednom uzlu najednou. Pokud se pokusíte získat přístup ke službě na jednom hlavním uzlu a vrátí chybu 404, přepněte na druhý hlavní uzel.

  2. Pokud chcete zjistit uzel a port, na který je služba dostupná, podívejte se na porty používané službami Hadoop v dokumentu HDInsight .

Vyrovnávání zatížení

Při vytváření clusteru HDInsight se vytvoří také několik nástrojů pro vyrovnávání zatížení. Vzhledem k vyřazení nástroje pro vyrovnávání zatížení úrovně Basic je typ nástrojů pro vyrovnávání zatížení na úrovni standardní skladové položky, která má určitá omezení. Příchozí toky do standardních nástrojů pro vyrovnávání zatížení se zavřou, pokud to skupina zabezpečení sítě nepovolí. Možná budete muset svázat zabezpečení sítě s vaší podsítí a nakonfigurovat pravidla zabezpečení sítě.

Pro standardní nástroj pro vyrovnávání zatížení je povoleno několik metod odchozího připojení. Je vhodné si uvědomit, že výchozí odchozí přístup bude brzy vyřazen. Pokud je brána NAT přijata k poskytování odchozího síťového přístupu, podsíť není schopná s nástrojem pro vyrovnávání zatížení úrovně Basic. Pokud máte v úmyslu připojit bránu NAT k podsíti, nemělo by v této podsíti existovat žádný nástroj pro vyrovnávání zatížení úrovně Basic. S bránou NAT jako metodou odchozího přístupu nemůže nově vytvořený cluster HDInsight sdílet stejnou podsíť s dříve vytvořenými clustery HDInsight se základními nástroji pro vyrovnávání zatížení.

Dalším omezením je, že nástroje pro vyrovnávání zatížení HDInsight by se neměly odstraňovat ani upravovat. Všechny změny pravidel nástroje pro vyrovnávání zatížení se přepíšou během určitých událostí údržby, jako jsou obnovení certifikátů. Pokud se nástroje pro vyrovnávání zatížení upraví a ovlivní funkčnost clusteru, budete možná muset cluster vytvořit znovu.

Další kroky