Vytvoření clusteru Spark ve službě HDInsight v AKS (Preview)
Důležitý
Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Zjistěte více s tímto oznámením.
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro předběžné verze Microsoft Azure zahrnují další právní podmínky, které se vztahují na funkce Azure, jež jsou v beta verzi, v předběžné verzi nebo ještě nebyly vydány pro obecnou dostupnost. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight ve službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a pro další aktualizace nás sledujte na Azure HDInsight komunitě.
Jakmile dokončíte požadavky předplatného a požadavky na prostředky, a máte nasazený fond clusterů, pokračujte v používání Azure portálu k vytvoření clusteru Spark. Pomocí webu Azure Portal můžete vytvořit cluster Apache Spark ve fondu clusterů. Pak můžete vytvořit poznámkový blok Jupyter a použít ho ke spouštění dotazů Spark SQL na tabulky Apache Hive.
V Azure portálu zadejte "cluster pools" a vyberte "cluster pools", abyste přešli na stránku s clustery. Na stránce fondy clusterů vyberte fond clusterů, do kterého můžete přidat nový cluster Spark.
Na konkrétní stránce fondu klastrů klikněte na + Nový klastr.
Tento krok otevře stránku pro vytvoření clusteru.
Vlastnost Popis Předplatné Předplatné Azure, které je zaregistrované pro použití se službou HDInsight ve službě AKS v části Požadavky, bude předem vyplněno. Skupina prostředků Skupina prostředků stejná jako klastry fondů bude předem vyplněna. Oblast Předvyplní se stejná oblast jako fond clusteru a virtuální. Fond clusterů Název fondu clusterů se vyplní předem. Verze fondu HDInsight Verze clusterového fondu se automaticky předvyplní z výběru vytvoření fondu. HDInsight na verzi AKS Určit HDI u verze AKS Typ clusteru V rozevíracím seznamu vyberte Spark. Verze clusteru Vyberte verzi obrázku, která se má použít. Název clusteru Zadejte název nového clusteru. Spravovaná identita přiřazená uživatelem Vyberte spravovanou identitu přiřazenou uživatelem, která bude fungovat jako připojovací řetězec s úložištěm. Účet úložiště Vyberte předem vytvořený účet úložiště, který se má použít jako primární úložiště pro cluster. Název kontejneru Vyberte název kontejneru (jedinečný), pokud je předem vytvořený nebo vytvořte nový kontejner. Katalog Hive (volitelné) Výběr předem vytvořeného metastoru Hive (Azure SQL DB) SQL databáze pro Hive V rozevíracím seznamu vyberte databázi SQL, do které chcete přidat tabulky hive-metastore. Uživatelské jméno správce SQL Zadejte uživatelské jméno správce SQL. Úložiště klíčů V rozevíracím seznamu vyberte službu Key Vault, která obsahuje tajný kód s heslem pro uživatelské jméno správce SQL. Název tajného kódu hesla SQL Zadejte název tajného kódu ze služby Key Vault, kde je uložené heslo databáze SQL. Poznámka
- HdInsight v současné době podporuje pouze databáze MS SQL Serveru.
- Kvůli omezení Hivu není podporován znak -( spojovník) v názvu databáze metastoru.
Pokračujte výběrem Dále: Konfigurace a ceny.
Vlastnost Popis Velikost uzlu Vyberte velikost uzlu, která se má použít pro uzly Sparku. Počet pracovních uzlů Vyberte počet uzlů pro cluster Spark. Z nich jsou tři uzly vyhrazené pro koordinační a systémové služby, zbývající uzly jsou vyhrazené pro Spark procesy, jeden proces na uzel. Například v clusteru s pěti uzly jsou dva pracovníci. Automatické škálování Kliknutím na přepínací tlačítko povolíte automatické škálování. Typ automatického škálování Výběr z automatického škálování založeného na zatížení nebo plánu Časový limit bezproblémového vyřazení z provozu Určení časového limitu řádného vyřazení z provozu Žádný výchozí pracovní uzel Vyberte počet uzlů pro automatické škálování. Časová zóna Výběr časového pásma Pravidla automatického škálování Vyberte den, čas začátku, čas konce, počet pracovních uzlů Povolení SSH Pokud je tato možnost povolená, můžete definovat předponu a počet uzlů SSH. Klikněte na Další: Integrace a povolte a vyberte Log Analytics pro protokolování.
Azure Prometheus pro monitorování a metriky je možné povolit po vytvoření clusteru.
Klikněte na Další: Značky pro pokračování na další stránku.
Na stránce Značky zadejte všechny značky, které chcete ke zdroji přidat.
Vlastnost Popis Jméno Volitelný. Zadejte název, jako je HDInsight ve službě AKS Private Preview, abyste mohli snadno identifikovat všechny prostředky přidružené k vašim prostředkům. Hodnota Ponechte toto prázdné Zdroj Výběr všech vybraných prostředků Klikněte na Další: Zkontrolovat a vytvořit.
Na stránce Zkontrolovat a vytvořitvyhledejte v horní části stránky zprávu Ověření bylo úspěšné a klikněte na Vytvořit.
Na stránce "Nasazení probíhá" se zobrazuje, kde je vytvářen cluster. Vytvoření clusteru trvá 5 až 10 minut. Po vytvoření clusteru se zobrazí zpráva Vaše nasazení je dokončeno. Pokud přejdete mimo stránku, můžete zkontrolovat stav oznámení.
Přejděte na stránku přehledu clusteru , kde najdete odkazy na koncové body.
