Jak używać magazynu metadanych Hive z klastrem Apache Spark™

Ważny

Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej w tym ogłoszeniu.

Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.

Ważny

Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki korzystania z platformy Microsoft Azure zawierają więcej warunków prawnych, które dotyczą funkcji Azure będących w wersji beta, w wersji zapoznawczej lub inaczej jeszcze nieudostępnionych szerzej. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o wersji zapoznawczej Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji, prześlij żądanie na AskHDInsight podając szczegóły, i śledź nas, aby uzyskać więcej aktualizacji na temat społeczności Azure HDInsight.

Ważne jest, aby udostępniać dane i magazyn metadanych w wielu usługach. Jeden z powszechnie używanych magazynów metadanych w magazynie metadanych HIVE. Usługa HDInsight w usłudze AKS umożliwia użytkownikom łączenie się z zewnętrznym magazynem metadanych. Ten krok umożliwia użytkownikom usługi HDInsight bezproblemowe łączenie się z innymi usługami w ekosystemie.

Usługa Azure HDInsight w usłudze AKS obsługuje niestandardowe magazyny metadanych, które są zalecane w przypadku klastrów produkcyjnych. Kluczowe kroki to

1. Tworzenie bazy danych Azure SQL Database
2. Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń
3. Skonfiguruj Metastore podczas tworzenia klastra HDInsight na AKS z Apache Spark™.
4. Operacja na zewnętrznym magazynie metadanych (pokazuje bazy danych i wykonuje zapytanie select limit 1).

Podczas tworzenia klastra usługa HDInsight musi połączyć się z zewnętrznym magazynem metadanych i zweryfikować poświadczenia.

Tworzenie bazy danych Azure SQL Database

1. Utwórz lub użyj istniejącej usługi Azure SQL Database, zanim skonfigurujesz niestandardowy magazyn metadanych Hive dla klastra usługi HDInsight.

   Notatka

   Obecnie obsługujemy tylko magazyn metadanych usługi Azure SQL Database for HIVE. Ze względu na ograniczenie programu Hive znak "-" (łącznik) w nazwie bazy danych magazynu metadanych nie jest obsługiwany.

Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń

1. Tworzenie usługi Azure Key Vault.

   Celem usługi Key Vault jest umożliwienie przechowywania hasła administratora programu SQL Server ustawionego podczas tworzenia bazy danych SQL. Usługa HDInsight na platformie AKS nie zajmuje się bezpośrednio poświadczeniami. W związku z tym należy przechowywać ważne poświadczenia w usłudze Azure Key Vault. Dowiedz się, jak utworzyć Azure Key Vault.

2. Po utworzeniu usługi Azure Key Vault przypisz następujące role

   Obiekt	Rola	Uwagi
   Tożsamość zarządzana przypisana przez użytkownika (ta sama UAMI, co jest używana przez klaster HDInsight)	Użytkownik tajemnic usługi Key Vault	Dowiedz się, jak przypisać rolę do UAMI
   Użytkownik (który tworzy tajemnicę w usłudze Azure Key Vault)	Administrator magazynu kluczy	Dowiedz się, jak przypisywać rolę użytkownika do.

   Notatka

   Bez tej roli użytkownik nie może utworzyć sekretu.

3. Utwórz sekret

   Ten krok umożliwia przechowywanie hasła administratora serwera SQL jako wpisu tajnego w usłudze Azure Key Vault. Dodaj hasło (takie samo hasło, jak podane w bazie danych SQL dla administratora) w polu "Wartość" podczas dodawania wpisu tajnego.

   

   

   Notatka

   Pamiętaj, aby zanotować nazwę tajną, ponieważ będzie to konieczne podczas tworzenia klastra.

Konfigurowanie Metastore podczas tworzenia klastra Spark usługi HDInsight

1. Przejdź do usługi HDInsight w puli klastrów AKS, aby utworzyć klastry.

   

2. Włącz przełącznik, aby dodać zewnętrzny magazyn metadanych Hive i wypełnić poniższe informacje.

   

3. Pozostałe szczegóły należy wypełnić zgodnie z regułami tworzenia klastra Apache Spark w HDInsight na AKS.

4. Kliknij pozycję Przejrzyj i utwórz.

   

   Nota

   • Cykl życia magazynu metadanych nie jest powiązany z cyklem życia klastrów, więc można tworzyć i usuwać klastry bez utraty metadanych. Metadane, takie jak schematy hive, są utrwalane nawet po usunięciu i ponownym utworzeniu klastra usługi HDInsight.
   • Niestandardowy magazyn metadanych umożliwia dołączenie wielu klastrów i typów klastrów do tego magazynu metadanych.

Obsługa zewnętrznego magazynu metadanych

1. Tworzenie tabeli

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Dodawanie danych do tabeli

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Odczytywanie tabeli

   >> spark.sql("select * from sampleTable").show()

   

Odniesienie

• Nazwy projektów typu open source apache, Apache Spark i skojarzone z nimi są znaki towaroweApache Software Foundation (ASF).