Hulpbronvereisten
Belangrijk
Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer te weten komen met deze aankondiging .
U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.
Belangrijk
Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.
In dit artikel worden de resources beschreven die nodig zijn om aan de slag te gaan met HDInsight in AKS. Het behandelt de benodigde en optionele resources en hoe u ze maakt.
Benodigde middelen
In de volgende tabel ziet u de benodigde resources die vereist zijn voor het maken van clusters op basis van de clustertypen.
| Werkdruk | Managed Service Identity (MSI) | Opslag | SQL Server - SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Vonk | ✅ | ✅ | ||
| Trino, Flink of Spark met Hive Metastore (HMS) | ✅ | ✅ | ✅ | ✅ |
Notitie
MSI wordt gebruikt als beveiligingsstandaard voor verificatie en autorisatie tussen resources, met uitzondering van SQL Database. De roltoewijzing vindt plaats vóór de implementatie om MSI te autoriseren voor opslag en de geheimen worden opgeslagen in Key Vault voor SQL Database. Ondersteuning voor opslag is met ADLS Gen2 en wordt gebruikt als gegevensarchief voor de berekeningsengines en SQL Database wordt gebruikt voor tabelbeheer in Hive Metastore.
Optionele bronnen
- Virtueel netwerk (VNet) en subnet: virtueel netwerk maken
- Log Analytics-werkruimte: Log Analytics-werkruimte maken
Notitie
- VNet vereist subnet zonder dat er een bestaande routetabel aan is gekoppeld.
- Met HDInsight in AKS kunt u uw eigen VNet en subnet gebruiken, zodat u uw netwerkvereisten kunt aanpassen aan de behoeften van uw onderneming.
- Log Analytics-werkruimte is optioneel en moet vooruit worden gemaakt voor het geval u Azure Monitor-mogelijkheden wilt gebruiken, zoals Azure Log Analytics-.
U kunt de benodigde resources op twee manieren maken:
ARM-sjablonen gebruiken
Met de volgende ARM-sjablonen kunt u de opgegeven benodigde resources maken, met één klik met behulp van een resourcevoorvoegsel en meer details, indien nodig.
Als u bijvoorbeeld het resourcevoorvoegsel 'demo' opgeeft, worden de volgende resources gemaakt in uw resourcegroep, afhankelijk van de sjabloon die u selecteert -
- MSI wordt gemaakt met de naam
demoMSI. - Opslag wordt gemaakt met de naam als
demostoresamen met een container alsdemocontainer. - Key Vault wordt gemaakt met de naam
demoKeyVault, samen met het geheim dat als parameter in de sjabloon is opgegeven. - Azure SQL-database wordt gemaakt met de naam
demoSqlDB, samen met de SQL Server met de naamdemoSqlServer.
| Werkdruk | Voorwaarden |
|---|---|
| Trino |
Maak de middelen die als volgt worden vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. |
| Flink |
Maak de resources zoals hieronder vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. |
| Vonk |
Maak de vermelde resources als volgt aan: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. |
| Trino, Flink of Spark met Hive Metastore (HMS) |
Maak de middelen zoals hieronder vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. 3. Azure SQL Server en SQL Database. 4. Azure Key Vault en een geheim voor het opslaan van sql Server-beheerdersreferenties. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. 2. Wijst de rol Key Vault Secrets User toe aan door de gebruiker toegewezen MSI in Key Vault. |
Notitie
Als u deze ARM-sjablonen gebruikt, moet een gebruiker gemachtigd zijn om nieuwe resources te maken en rollen toe te wijzen aan de resources in het abonnement.
Azure Portal gebruiken
door de gebruiker toegewezen beheerde identiteit (MSI) maken
Een beheerde identiteit is een identiteit die is geregistreerd in Microsoft Entra ID (Microsoft Entra ID) waarvan de referenties worden beheerd door Azure. Met beheerde identiteiten hoeft u geen service-principals te registreren in Microsoft Entra-id om referenties zoals certificaten te onderhouden.
HDInsight op AKS is afhankelijk van door de gebruiker toegewezen MSI voor communicatie tussen verschillende onderdelen.
Opslagaccount maken - ADLS Gen 2-
Het opslagaccount wordt gebruikt als de standaardlocatie voor clusterlogboeken en andere uitvoer. Schakel hiërarchische naamruimte in tijdens het maken van het opslagaccount voor gebruik als ADLS Gen2-opslag.
Wijs een rol toe: Wijs de rol 'Storage Blob Data-eigenaar' toe aan de gebruikers-MSI die voor dit opslagaccount is gemaakt.
Maak een container: Maak na het maken van het opslagaccount een container in het opslagaccount.
Notitie
De optie voor het maken van een container tijdens het maken van een cluster is ook beschikbaar.
Azure SQL Database- maken
Maak een Azure SQL Database die moet worden gebruikt als een externe metastore tijdens het maken van het cluster of u kunt een bestaande SQL Database gebruiken. Zorg er echter voor dat de volgende eigenschappen zijn ingesteld.
Vereiste eigenschappen zijn ingeschakeld voor SQL Server en SQL Database-
| Type bron | Eigendom | Beschrijving |
|---|---|---|
| SQL Server | Verificatiemethode | Wanneer u een SQL Server maakt, gebruikt u 'Verificatiemethode' als 
|
| SQL Database | Azure-services en -resources toegang geven tot deze server | Schakel deze eigenschap in onder de blade Netwerken in uw SQL-database in Azure Portal. |
Notitie
- Momenteel ondersteunen we alleen Azure SQL Database als ingebouwde metastore.
- Vanwege hive-beperking wordt het teken '-' (afbreekstreepje) in de naam van de metastore-database niet ondersteund.
- Azure SQL Database moet zich in dezelfde regio bevinden als uw cluster.
- De optie voor het maken van een SQL Database tijdens het maken van een cluster is ook beschikbaar. U moet echter de clusterpagina vernieuwen zodat de zojuist gemaakte database in de vervolgkeuzelijst verschijnt.
Azure Key Vault- maken
Met Key Vault kunt u het wachtwoord van de SQL Server-beheerder opslaan dat is ingesteld tijdens het maken van SQL Database. HDInsight op het AKS-platform handelt niet direct inloggegevens af. Daarom is het nodig om uw belangrijke referenties op te slaan in de Sleutelkluis.
Wijs een rol toe: wijs de rol Key Vault Secrets User toe aan de door de gebruiker toegewezen MSI die is gemaakt als onderdeel van de benodigde resources voor deze Key Vault.
Een geheim maken: met deze stap kunt u uw SQL Server-beheerderswachtwoord als geheim bewaren in Azure Key Vault. Voeg uw wachtwoord toe in het veld Waarde tijdens het maken van een geheim.
Notitie
- Noteer de geheime naam, omdat dit vereist is tijdens het maken van het cluster.
- U moet de rol Key Vault-beheerder hebben toegewezen aan uw identiteit of account om een geheim toe te voegen in Key Vault met behulp van Azure Portal. Navigeer naar de Sleutelkluis en volg de stappen in hoe u de roltoewijst.