Použití metastoru Hive s clusterem Apache Spark™

Důležitý

Azure HDInsight na AKS byl ukončen 31. ledna 2025. Zjistěte více v tomto oznámení.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nebyly vydány v obecné dostupnosti. Informace o této konkrétní verzi najdete v Azure HDInsight na AKS Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost o AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace komunity Azure HDInsight .

Je nezbytné sdílet data a metastor napříč několika službami. Jeden z běžně používaných metastorů v metastoru HIVE. HDInsight v AKS umožňuje uživatelům připojit se k externímu metastoru. Tento krok umožňuje uživatelům HDInsight bezproblémově se připojovat k dalším službám v ekosystému.

Azure HDInsight v AKS podporuje vlastní úložiště meta, která se doporučují pro produkční clustery. Mezi klíčové kroky patří:

1. Vytvoření databáze Azure SQL
2. Vytvoření trezoru klíčů pro ukládání přihlašovacích údajů
3. Konfigurace metastoru při vytváření HDInsightu v clusteru AKS pomocí Apache Sparku™
4. Pracovat s externím metastorem (zobrazuje databáze a provádí limit výběru 1).

Při vytváření clusteru se služba HDInsight musí připojit k externímu metastoru a ověřit přihlašovací údaje.

Vytvoření databáze Azure SQL

1. Vytvořte nebo použijte existující databázi Azure SQL před nastavením vlastního metastoru Hive pro cluster HDInsight.

   Poznámka

   V současné době podporujeme pouze Službu Azure SQL Database pro metastore HIVE. Kvůli omezení Hivu není podporován znak -( spojovník) v názvu databáze metastoru.

Vytvoření trezoru klíčů pro ukládání přihlašovacích údajů

1. Vytvoření služby Azure Key Vault

   Účelem služby Key Vault je umožnit uložení hesla správce SQL Serveru nastaveného při vytváření databáze SQL. HDInsight na platformě AKS neřeší přihlašovací údaje přímo. Proto je nutné ukládat důležité přihlašovací údaje ve službě Azure Key Vault. Naučte se kroky pro vytvoření služby Azure Key Vault .

2. Po vytvoření služby Azure Key Vault přiřaďte následující role.

   Objekt	Role	Poznámky
   Spravovaná identita přiřazená uživatelem (stejná UAMI, jakou používá cluster HDInsight)	Uživatel tajných kódů služby Key Vault	Zjistěte, jak přiřadit roli UAMI.
   Uživatel (který vytvoří tajný kód ve službě Azure Key Vault)	Správce služby Key Vault	Naučte se, jak přiřadit roli uživateli .

   Poznámka

   Bez této role nemůže uživatel vytvořit tajný kód.

3. Vytvořit tajemství

   Tento krok vám umožní zachovat heslo správce SQL Serveru jako tajný klíč ve službě Azure Key Vault. Při přidávání tajného kódu přidejte heslo (stejné heslo, jaké jste zadali v databázi SQL pro správce) do pole Hodnota.

   

   

   Poznámka

   Nezapomeňte si poznamenat název tajného kódu, protože ho budete potřebovat při vytváření clusteru.

Konfigurace metastoru při vytváření clusteru HDInsight Spark

1. Přejděte do SLUŽBY HDInsight ve fondu clusterů AKS a vytvořte clustery.

   

2. Povolte přepínací tlačítko pro přidání externího metastore Hive a vyplňte následující podrobnosti.

   

3. Zbývající podrobnosti se musí vyplnit podle pravidel vytváření clusteru pro cluster Apache Spark ve službě HDInsight na AKS.

4. Klikněte na Zkontrolovat a vytvořit.

   

   Poznámka

   • Životní cyklus metastoru není vázán na životní cyklus clusterů, takže můžete vytvářet a odstraňovat clustery bez ztráty metadat. Metadata, jako jsou vaše schémata Hive, se uchovávají i po odstranění a opětovném vytvoření clusteru HDInsight.
   • Vlastní metastore umožňuje připojit k tomuto metastoru více clusterů a typů clusterů.

Ovládejte externí metastore

1. Vytvoření tabulky

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Přidání dat do tabulky

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Přečtěte si tabulku

   >> spark.sql("select * from sampleTable").show()

   

Odkaz

• Názvy open-source projektů Apache, Apache Spark, Spark a přidružených open-source projektů jsou ochranné známky Apache Software Foundation (ASF).