Wprowadzenie do pamięci masowej klastra
Ważny
Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej dzięki temu ogłoszeniu.
Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.
Ważny
Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe Warunki Korzystania dla wersji zapoznawczych Microsoft Azure zawierają więcej warunków prawnych, które dotyczą funkcji Azure, które są w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze udostępnione publicznie. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje dotyczące wersji zapoznawczej Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie dotyczące AskHDInsight, aby uzyskać więcej informacji na temat społeczności usługi Azure HDInsight.
Usługa Azure HDInsight w usłudze AKS może bezproblemowo integrować się z usługą Azure Storage, czyli rozwiązaniem magazynu ogólnego przeznaczenia, które dobrze współpracuje z wieloma innymi usługami platformy Azure. Usługa Azure Data Lake Storage Gen2 (ADLS Gen 2) jest domyślnym systemem plików klastrów.
Konto magazynowe może służyć jako domyślna lokalizacja dla danych, dzienników klastra i innych wyników generowanych podczas operacji klastra. Może to być również domyślny magazyn katalogu Hive, zależny od typu klastra.
Aby uzyskać więcej informacji, zobacz Introduction to Azure Data Lake Storage Gen2 (Wprowadzenie do usługi Azure Data Lake Storage Gen2).
Tożsamości zarządzane na potrzeby bezpiecznego dostępu do plików
Azure HDInsight na AKS używa tożsamości zarządzanych (MSI) do zabezpieczania dostępu klastra do plików w Azure Data Lake Storage Gen2. Tożsamość zarządzana to funkcja identyfikatora Entra firmy Microsoft, która udostępnia usługom platformy Azure zestaw automatycznie zarządzanych poświadczeń. Te poświadczenia mogą służyć do uwierzytelniania w dowolnej usłudze obsługującej uwierzytelnianie usługi Active Directory. Ponadto tożsamości zarządzane nie wymagają przechowywania poświadczeń w kodzie ani plikach konfiguracji.
W Azure HDInsight na AKS, po wybraniu tożsamości zarządzanej i magazynu podczas tworzenia klastra, tożsamość zarządzana może bezproblemowo współpracować z magazynem w celu zarządzania danymi, pod warunkiem, że rola Storage Blob Data Owner zostanie przypisana do tożsamości zarządzanej przypisanej przez użytkownika.
W poniższej tabeli przedstawiono obsługiwane opcje magazynu dla usługi Azure HDInsight w usłudze AKS (publiczna wersja zapoznawcza):
Typ klastra | Obsługiwana pamięć masowa | Połączenie | Rola w przechowywaniu |
---|---|---|---|
Trino, Apache Flink i Apache Spark | ADLS Gen2 | Tożsamość zarządzana przypisana przez użytkownika klastra (MSI) | Przypisana przez użytkownika tożsamość zarządzana musi mieć rolę Właściciel danych obiektu blob usługi Storage na koncie magazynu. |
Notatka
Aby udostępnić konto magazynu w wielu klastrach, możesz po prostu przypisać użytkownika przypisane MSI klastra „Właściciel danych blob Storage” do udostępnionego konta magazynu. Dowiedz się, jak przypisać rolę.
Następnie możesz użyć kompletnej ścieżki magazynu abfs://
, aby uzyskać dostęp do danych za pośrednictwem Twoich aplikacji.
Aby uzyskać więcej informacji, zobacz Tożsamości zarządzane dla zasobów Azure.
Dowiedz się, jak utworzyć konto usługi ADLS Gen2 .
Architektura pamięci masowej platformy Azure HDInsight na AKS
Na poniższym diagramie przedstawiono abstrakcyjny widok usługi Azure HDInsight w architekturze usługi AKS usługi Azure Storage.
Zarządzanie magazynem
Obecnie Azure HDInsight na AKS nie obsługuje kont magazynowych z włączonym miękkim usuwaniem, więc upewnij się, że wyłączysz miękkie usuwanie dla swojego konta magazynowego.