Jak używać magazynu metadanych Hive z klastrem Apache Spark™

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Ważne jest, aby udostępniać dane i magazyn metadanych w wielu usługach. Jeden z powszechnie używanych magazynów metadanych w magazynie metadanych HIVE. Usługa HDInsight w usłudze AKS umożliwia użytkownikom łączenie się z zewnętrznym magazynem metadanych. Ten krok umożliwia użytkownikom usługi HDInsight bezproblemowe łączenie się z innymi usługami w ekosystemie.

Usługa Azure HDInsight w usłudze AKS obsługuje niestandardowe magazyny metadanych, które są zalecane w przypadku klastrów produkcyjnych. Kluczowe kroki to

1. Tworzenie bazy danych Azure SQL Database
2. Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń
3. Konfigurowanie magazynu metadanych podczas tworzenia klastra usługi HDInsight w usłudze AKS przy użyciu platformy Apache Spark™
4. Obsługa zewnętrznego magazynu metadanych (pokazuje bazy danych i wykonaj limit 1).

Podczas tworzenia klastra usługa HDInsight musi połączyć się z zewnętrznym magazynem metadanych i zweryfikować poświadczenia.

Tworzenie bazy danych Azure SQL Database

1. Utwórz lub utwórz istniejącą usługę Azure SQL Database przed skonfigurowaniem niestandardowego magazynu metadanych Hive dla klastra usługi HDInsight.

   Uwaga

   Obecnie obsługujemy tylko magazyn metadanych usługi Azure SQL Database for HIVE. Ze względu na ograniczenie programu Hive znak "-" (łącznik) w nazwie bazy danych magazynu metadanych nie jest obsługiwany.

Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń

1. Tworzenie usługi Azure Key Vault.

   Celem usługi Key Vault jest umożliwienie przechowywania hasła administratora programu SQL Server ustawionego podczas tworzenia bazy danych SQL. Usługa HDInsight na platformie AKS nie zajmuje się bezpośrednio poświadczeniami. W związku z tym należy przechowywać ważne poświadczenia w usłudze Azure Key Vault. Dowiedz się, jak utworzyć usługę Azure Key Vault.

2. Po utworzeniu usługi Azure Key Vault przypisz następujące role

   Objekt	Rola	Uwagi
   Tożsamość zarządzana przypisana przez użytkownika (ta sama nazwa użytkownika, która jest używana przez klaster usługi HDInsight)	Użytkownik wpisów tajnych usługi Key Vault	Dowiedz się, jak przypisać rolę do interfejsu użytkownika
   Użytkownik (który tworzy wpis tajny w usłudze Azure Key Vault)	Key Vault Administrator	Dowiedz się, jak przypisać rolę użytkownikowi.

   Uwaga

   Bez tej roli użytkownik nie może utworzyć wpisu tajnego.

3. Utwórz klucz tajny

   Ten krok umożliwia przechowywanie hasła administratora serwera SQL jako wpisu tajnego w usłudze Azure Key Vault. Dodaj hasło (takie samo hasło, jak podane w bazie danych SQL dla administratora) w polu "Wartość" podczas dodawania wpisu tajnego.

   

   

   Uwaga

   Pamiętaj, aby zanotować nazwę wpisu tajnego, ponieważ będzie to konieczne podczas tworzenia klastra.

Konfigurowanie magazynu metadanych podczas tworzenia klastra spark usługi HDInsight

1. Przejdź do usługi HDInsight w puli klastrów usługi AKS, aby utworzyć klastry.

   

2. Włącz przycisk przełączania, aby dodać zewnętrzny magazyn metadanych hive i wypełnić poniższe szczegóły.

   

3. Pozostałe szczegóły należy wypełnić zgodnie z regułami tworzenia klastra dla klastra Apache Spark w usłudze HDInsight w usłudze AKS.

4. Kliknij pozycję Przejrzyj i utwórz.

   

   Uwaga

   • Cykl życia magazynu metadanych nie jest powiązany z cyklem życia klastrów, więc można tworzyć i usuwać klastry bez utraty metadanych. Metadane, takie jak schematy hive, są utrwalane nawet po usunięciu i ponownym utworzeniu klastra usługi HDInsight.
   • Niestandardowy magazyn metadanych umożliwia dołączenie wielu klastrów i typów klastrów do tego magazynu metadanych.

Obsługa zewnętrznego magazynu metadanych

1. Utwórz tabelę

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Dodawanie danych do tabeli

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Odczytywanie tabeli

   >> spark.sql("select * from sampleTable").show()

   

Odwołanie

• Nazwy projektów apache, Apache Spark, Spark i skojarzone z nimi nazwy projektów typu open source są znakami towarowymi platformy Apache Software Foundation (ASF).