Resourcevereisten
Notitie
Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.
Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.
Belangrijk
Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.
In dit artikel worden de resources beschreven die nodig zijn om aan de slag te gaan met HDInsight in AKS. Het behandelt de benodigde en optionele resources en hoe u ze maakt.
Benodigde resources
In de volgende tabel ziet u de benodigde resources die vereist zijn voor het maken van clusters op basis van de clustertypen.
| Workload | Managed Service Identity (MSI) | Storage | SQL Server - SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink of Spark met Hive Metastore (HMS) | ✅ | ✅ | ✅ | ✅ |
Notitie
MSI wordt gebruikt als beveiligingsstandaard voor verificatie en autorisatie tussen resources, met uitzondering van SQL Database. De roltoewijzing vindt plaats vóór de implementatie om MSI te autoriseren voor opslag en de geheimen worden opgeslagen in Key Vault voor SQL Database. Ondersteuning voor opslag is met ADLS Gen2 en wordt gebruikt als gegevensarchief voor de berekeningsengines en SQL Database wordt gebruikt voor tabelbeheer in Hive Metastore.
Optionele resources
- Virtueel netwerk (VNet) en subnet: virtueel netwerk maken
- Log Analytics-werkruimte: Log Analytics-werkruimte maken
Notitie
- VNet vereist subnet zonder dat er een bestaande routetabel aan is gekoppeld.
- Met HDInsight in AKS kunt u uw eigen VNet en subnet gebruiken, zodat u uw netwerkvereisten kunt aanpassen aan de behoeften van uw onderneming.
- Log Analytics-werkruimte is optioneel en moet vooruit worden gemaakt voor het geval u azure Monitor-mogelijkheden zoals Azure Log Analytics wilt gebruiken.
U kunt de benodigde resources op twee manieren maken:
ARM-sjablonen gebruiken
Met de volgende ARM-sjablonen kunt u de opgegeven benodigde resources maken, met één klik met behulp van een resourcevoorvoegsel en meer details, indien nodig.
Als u bijvoorbeeld het resourcevoorvoegsel 'demo' opgeeft, worden de volgende resources gemaakt in uw resourcegroep, afhankelijk van de sjabloon die u selecteert -
- MSI wordt gemaakt met de naam als
demoMSI. - Opslag wordt gemaakt met een naam, samen
demostoremet een container alsdemocontainer. - Sleutelkluis wordt gemaakt met de naam,
demoKeyVaultsamen met het geheim dat als parameter in de sjabloon is opgegeven. - Azure SQL-database wordt gemaakt met de naam, samen
demoSqlDBmet SQL Server met de naam alsdemoSqlServer.
| Workload | Vereisten |
|---|---|
| Trino | Maak de resources die als volgt worden vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. |
| Flink | Maak de resources die als volgt worden vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. |
| Spark | Maak de resources die als volgt worden vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. |
| Trino, Flink of Spark met Hive Metastore (HMS) | Maak de resources die als volgt worden vermeld: 1. Managed Service Identity (MSI): door de gebruiker toegewezen beheerde identiteit. 2. ADLS Gen2-opslagaccount en een container. 3. Azure SQL Server en SQL Database. 4. Azure Key Vault en een geheim voor het opslaan van sql Server-beheerdersreferenties. Roltoewijzingen: 1. Wijst de rol 'Eigenaar van opslagblobgegevens' toe aan door de gebruiker toegewezen MSI in het opslagaccount. 2. Wijst de rol Key Vault Secrets User toe aan door de gebruiker toegewezen MSI in Key Vault. |
Notitie
Als u deze ARM-sjablonen gebruikt, moet een gebruiker gemachtigd zijn om nieuwe resources te maken en rollen toe te wijzen aan de resources in het abonnement.
Azure-portal gebruiken
Door de gebruiker toegewezen beheerde identiteit (MSI) maken
Een beheerde identiteit is een identiteit die is geregistreerd in Microsoft Entra ID (Microsoft Entra ID) waarvan de referenties worden beheerd door Azure. Met beheerde identiteiten hoeft u geen service-principals te registreren in Microsoft Entra-id om referenties zoals certificaten te onderhouden.
HDInsight op AKS is afhankelijk van door de gebruiker toegewezen MSI voor communicatie tussen verschillende onderdelen.
Opslagaccount maken - ADLS Gen 2
Het opslagaccount wordt gebruikt als de standaardlocatie voor clusterlogboeken en andere uitvoer. Schakel hiërarchische naamruimte in tijdens het maken van het opslagaccount voor gebruik als ADLS Gen2-opslag.
Wijs een rol toe: Wijs de rol 'Eigenaar van opslagblobgegevens' toe aan de door de gebruiker toegewezen MSI die aan dit opslagaccount is gemaakt.
Een container maken: Maak na het maken van het opslagaccount een container in het opslagaccount.
Notitie
De optie voor het maken van een container tijdens het maken van een cluster is ook beschikbaar.
Azure SQL Database maken
Maak een Azure SQL Database die moet worden gebruikt als een externe metastore tijdens het maken van het cluster of u kunt een bestaande SQL Database gebruiken. Zorg er echter voor dat de volgende eigenschappen zijn ingesteld.
Vereiste eigenschappen die moeten worden ingeschakeld voor SQL Server en SQL Database-
| Resourcetype | Eigenschappen | Beschrijving |
|---|---|---|
| SQL Server | Verificatiemethode | Wanneer u een SQL Server maakt, gebruikt u 'Verificatiemethode' als 
|
| SQL Database | Toestaan dat Azure-services en -resources toegang hebben tot deze server | Schakel deze eigenschap in onder de blade Netwerken in uw SQL-database in Azure Portal. |
Notitie
- Momenteel ondersteunen we alleen Azure SQL Database als ingebouwde metastore.
- Vanwege hive-beperking wordt het teken '-' (afbreekstreepje) in de naam van de metastore-database niet ondersteund.
- Azure SQL Database moet zich in dezelfde regio bevinden als uw cluster.
- De optie voor het maken van een SQL Database tijdens het maken van een cluster is ook beschikbaar. U moet echter de pagina voor het maken van het cluster vernieuwen om de zojuist gemaakte database weer te geven in de vervolgkeuzelijst.
Azure Key Vault maken
Met Key Vault kunt u het wachtwoord van de SQL Server-beheerder opslaan dat is ingesteld tijdens het maken van SQL Database. HDInsight op het AKS-platform heeft niet rechtstreeks te maken met de referentie. Daarom is het nodig om uw belangrijke referenties op te slaan in de Sleutelkluis.
Wijs een rol toe: Wijs de rol Key Vault Secrets User toe aan de door de gebruiker toegewezen MSI die is gemaakt als onderdeel van de benodigde resources voor deze Key Vault.
Een geheim maken: met deze stap kunt u uw SQL Server-beheerderswachtwoord als geheim bewaren in Azure Key Vault. Voeg uw wachtwoord toe in het veld Waarde tijdens het maken van een geheim.
Notitie
- Noteer de geheime naam, omdat dit vereist is tijdens het maken van het cluster.
- U moet de rol Key Vault-beheerder hebben toegewezen aan uw identiteit of account om een geheim toe te voegen in Key Vault met behulp van Azure Portal. Navigeer naar de Sleutelkluis en volg de stappen voor het toewijzen van de rol.