Ressourcenvoraussetzungen

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Featurevorschläge reichen Sie bitte eine Anfrage auf AskHDInsight ein, zusammen mit den Details, und folgen Sie uns für weitere Updates zur Azure HDInsight Community.

In diesem Artikel werden die Ressourcen beschrieben, die für die ersten Schritte mit HDInsight auf AKS erforderlich sind. Sie deckt die erforderlichen und optionalen Ressourcen und deren Erstellung ab.

Erforderliche Ressourcen

In der folgenden Tabelle sind die erforderlichen Ressourcen dargestellt, die für die Clustererstellung auf der Grundlage der Clustertypen erforderlich sind.

Arbeitsbelastung	Managed Service Identity (MSI)	Lagerung	SQL Server – SQL-Datenbank	Key Vault
Trino	✅
Schnell	✅	✅
Funke	✅	✅
Trino, Flink oder Spark mit Hive Metastore (HMS)	✅	✅	✅	✅

Anmerkung

MSI wird als Sicherheitsstandard für die Authentifizierung und Autorisierung über Ressourcen hinweg verwendet, mit Ausnahme der SQL-Datenbank. Die Rollenzuweisung erfolgt vor der Bereitstellung, um MSI zum Speichern zu autorisieren, und die geheimen Schlüssel werden im Key Vault für SQL-Datenbank gespeichert. Die Unterstützung für Speicher erfolgt über ADLS Gen2, das als Datenspeicher für die Rechenmodule dient, und die SQL-Datenbank wird für die Tabellenverwaltung im Hive-Metaspeicher verwendet.

Optionale Ressourcen

• Virtuelles Netzwerk (VNet) und Subnetz: Erstellen eines virtuellen Netzwerks
• Log Analytics-Arbeitsbereich: Log Analytics-Arbeitsbereich erstellen

Anmerkung

• VNet erfordert Subnetz ohne vorhandene Routentabelle, die ihr zugeordnet ist.
• HDInsight auf AKS ermöglicht es Ihnen, Ihr eigenes VNet und Subnetz bereitzustellen, sodass Sie Ihre Netzwerkanforderungen an die Anforderungen Ihres Unternehmens anpassen können.
• Der Log Analytics-Arbeitsbereich ist optional und muss im Voraus erstellt werden, falls Sie Azure Monitor-Funktionen wie Azure Log Analyticsverwenden möchten.

Sie können die erforderlichen Ressourcen auf zwei Arten erstellen:

• EINSATZBEREITE ARM-Vorlagen
• Verwenden des Azure-Portals

Verwenden von ARM-Vorlagen

Mit den folgenden ARM-Vorlagen können Sie die angegebenen erforderlichen Ressourcen erstellen, indem Sie auf einen Klick ein Ressourcenpräfix und weitere Details nach Bedarf verwenden.

Wenn Sie beispielsweise das Ressourcenpräfix als "Demo" angeben, werden die folgenden Ressourcen je nach ausgewählter Vorlage in Ihrer Ressourcengruppe erstellt :

• MSI wird mit dem Namen demoMSIerstellt.
• Speicher wird unter dem Namen demostore und einem Container als democontainererstellt.
• Der Schlüsseltresor wird mit dem Namen demoKeyVault zusammen mit dem geheimen Schlüssel erstellt, der als Parameter in der Vorlage bereitgestellt wird.
• Es wird eine Azure SQL-Datenbank mit dem Namen demoSqlDB zusammen mit einem SQL Server mit dem Namen demoSqlServererstellt.

Arbeitsbelastung	Voraussetzungen
Trino	Erstellen Sie die genannten Ressourcen wie folgt: 1. Managed Service Identity (MSI): vom Benutzer zugewiesene verwaltete Identität.
Flink	Erstellen Sie die genannten Ressourcen wie folgt: 1. Managed Service Identity (MSI): vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle "Besitzer von Speicher-BLOB-Daten" dem vom Benutzer zugewiesenen MSI-Speicherkonto zu.
Funke	Erstellen Sie die genannten Ressourcen wie folgt: 1. Managed Service Identity (MSI): vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. Rollenzuweisungen: 1. Weist die Rolle "Besitzer von Speicher-BLOB-Daten" dem vom Benutzer zugewiesenen MSI-Speicherkonto zu.
Trino, Flink oder Spark mit Hive Metastore (HMS)	Erstellen Sie die genannten Ressourcen wie folgt: 1. Managed Service Identity (MSI): vom Benutzer zugewiesene verwaltete Identität. 2. ADLS Gen2-Speicherkonto und ein Container. 3. Azure SQL Server und SQL-Datenbank. 4. Azure Key Vault und ein geheimer Schlüssel zum Speichern von SQL Server-Administratoranmeldeinformationen. Rollenzuweisungen: 1. Weist die Rolle "Besitzer von Speicher-BLOB-Daten" dem vom Benutzer zugewiesenen MSI-Speicherkonto zu. 2. Weist die Rolle "Key Vault Secrets User" der vom Benutzer zugewiesenen MSI-Datei im Key Vault zu.

Anmerkung

Wenn Sie diese ARM-Vorlagen verwenden, muss ein Benutzer über die Berechtigung zum Erstellen neuer Ressourcen verfügen und den Ressourcen im Abonnement Rollen zuweisen.

Verwenden des Azure-Portals

Erstellen von vom Benutzer zugewiesenen verwalteten Identitäten (MSI)

Eine verwaltete Identität ist eine in Microsoft Entra ID (Microsoft Entra ID) registrierte Identität, deren Anmeldeinformationen von Azure verwaltet werden. Bei verwalteten Identitäten müssen Sie keine Dienstprinzipale in der Microsoft Entra-ID registrieren, um Anmeldeinformationen wie Zertifikate zu verwalten.

HDInsight auf AKS basiert auf der vom Benutzer zugewiesenen MSI für die Kommunikation zwischen verschiedenen Komponenten.

Erstellen eines Speicherkontos – ADLS Gen 2

Das Speicherkonto wird als Standardspeicherort für Clusterprotokolle und andere Ausgaben verwendet. Aktivieren Sie während der Erstellung des Speicherkontos den hierarchischen Namespace, der als ADLS Gen2-Speicher verwendet werden soll.

1. Zuweisen einer Rolle: Zuweisen der Rolle "Storage Blob-Datenbesitzer" für die benutzerzugewiesene MSI, die für dieses Speicherkonto erstellt wurde.

2. Erstellen eines Containers: Erstellen Sie nach dem Erstellen des Speicherkontos einen Container im Speicherkonto.

Anmerkung

Die Option zum Erstellen eines Containers während der Clustererstellung ist ebenfalls verfügbar.

Erstellen einer Azure SQL-Datenbank

Erstellen Sie eine Azure SQL-Datenbank, die während der Clustererstellung als externer Metastore verwendet werden soll, oder Sie können eine vorhandene SQL-Datenbank verwenden. Stellen Sie jedoch sicher, dass die folgenden Eigenschaften festgelegt sind.

Erforderliche Eigenschaften, die für SQL Server- und SQL-Datenbank-- aktiviert werden sollen

Ressourcentyp	Eigentum	Beschreibung
SQL Server	Authentifizierungsmethode	Verwenden Sie beim Erstellen eines SQL Server die "Authentifizierungsmethode" als
SQL-Datenbank	Zulassen, dass Azure-Dienste und -Ressourcen auf diesen Server zugreifen können	Aktivieren Sie diese Eigenschaft unter dem Blatt "Networking" in Ihrer SQL-Datenbank im Azure-Portal.

Anmerkung

• Derzeit unterstützen wir nur azure SQL-Datenbank als inbuilten Metastore.
• Aufgrund der Hive-Einschränkung wird das Zeichen "-" (Bindestrich) im Metastore-Datenbanknamen nicht unterstützt.
• Azure SQL-Datenbank sollte sich in derselben Region wie Ihr Cluster befinden.
• Die Option zum Erstellen einer SQL-Datenbank während der Clustererstellung ist ebenfalls verfügbar. Sie müssen jedoch die Clustererstellungsseite aktualisieren, um die neu erstellte Datenbank in der Dropdownliste anzuzeigen.

Azure Key Vault erstellen

Key Vault ermöglicht Ihnen das Speichern des SQL Server-Administratorkennworts während der SQL-Datenbankerstellung. HDInsight auf AKS verarbeitet die Anmeldeinformationen nicht direkt. Daher ist es erforderlich, Ihre wichtigen Anmeldeinformationen im Key Vault zu speichern.

1. Zuweisen einer Rolle: Zuweisen der Rolle "Benutzer von Key Vault-Geheimnissen" an die dienstzugewiesene MSI, die als Teil der notwendigen Ressourcen für diesen Key Vault erstellt wurde.

2. Ein Geheimnis erstellen: In diesem Schritt können Sie Ihr SQL Server-Administratorkennwort als Geheimnis in Azure Key Vault aufbewahren. Fügen Sie Ihr Kennwort im Feld "Wert" hinzu, während Sie einen geheimen Schlüssel erstellen.

Anmerkung

• Notieren Sie sich den geheimen Namen, da dies während der Clustererstellung erforderlich ist.
• Sie müssen Ihrer Identität oder Ihrem Konto eine Rolle als "Key Vault Administrator" zugewiesen bekommen haben, um ein Geheimnis im Key Vault über das Azure-Portal hinzuzufügen. Navigieren Sie zum Key Vault und folgen Sie den Schritten in , um die Rollezuzuweisen.