Resurskrav
Kommentar
Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.
Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.
Viktigt!
Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.
Den här artikeln beskriver de resurser som krävs för att komma igång med HDInsight på AKS. Den omfattar nödvändiga och valfria resurser och hur du skapar dem.
Nödvändiga resurser
I följande tabell visas de resurser som krävs för att skapa kluster baserat på klustertyperna.
| Arbetsbelastning | Hanterad tjänstidentitet (MSI) | Storage | SQL Server – SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink eller Spark med Hive Metastore (HMS) | ✅ | ✅ | ✅ | ✅ |
Kommentar
MSI används som säkerhetsstandard för autentisering och auktorisering mellan resurser, förutom SQL Database. Rolltilldelningen sker före distributionen för att auktorisera MSI till lagring och hemligheterna lagras i Key Vault för SQL Database. Lagringsstöd är med ADLS Gen2 och används som datalager för beräkningsmotorerna och SQL Database används för tabellhantering i Hive-metaarkivet.
Valfria resurser
- Virtuellt nätverk (VNet) och undernät: Skapa virtuellt nätverk
- Log Analytics-arbetsyta: Skapa Log Analytics-arbetsyta
Kommentar
- VNet kräver undernät utan någon befintlig routningstabell som är associerad med det.
- MED HDInsight på AKS kan du ta med ditt eget virtuella nätverk och undernät, så att du kan anpassa dina nätverkskrav efter företagets behov.
- Log Analytics-arbetsytan är valfri och måste skapas i förväg om du vill använda Azure Monitor-funktioner som Azure Log Analytics.
Du kan skapa nödvändiga resurser på två sätt:
Använda ARM-mallar
Med följande ARM-mallar kan du skapa de angivna nödvändiga resurserna med ett klick med hjälp av ett resursprefix och mer information efter behov.
Om du till exempel anger resursprefixet som "demo" skapas följande resurser i resursgruppen beroende på vilken mall du väljer -
- MSI skapas med namnet
demoMSI. - Lagring skapas med namnet tillsammans
demostoremed en container somdemocontainer. - Nyckelvalvet skapas med namnet
demoKeyVaulttillsammans med hemligheten som anges som parameter i mallen. - Azure SQL Database skapas med namnet tillsammans
demoSqlDBmed SQL Server med namnetdemoSqlServer.
| Arbetsbelastning | Förutsättningar |
|---|---|
| Trino | Skapa de resurser som nämns på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. |
| Flink | Skapa de resurser som nämns på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. Rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot. |
| Spark | Skapa de resurser som nämns på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. Rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot. |
| Trino, Flink eller Spark med Hive Metastore (HMS) | Skapa de resurser som nämns på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. 3. Azure SQL Server och SQL Database. 4. Azure Key Vault och en hemlighet för att lagra autentiseringsuppgifter för SQL Server-administratör. Rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot. 2. Tilldelar rollen "Key Vault Secrets User" till användartilldelad MSI i Key Vault. |
Kommentar
Med hjälp av dessa ARM-mallar måste en användare ha behörighet att skapa nya resurser och tilldela roller till resurserna i prenumerationen.
Med Azure-portalen
Skapa användartilldelad hanterad identitet (MSI)
En hanterad identitet är en identitet som är registrerad i Microsoft Entra ID (Microsoft Entra ID) vars autentiseringsuppgifter hanteras av Azure. Med hanterade identiteter behöver du inte registrera tjänstens huvudnamn i Microsoft Entra-ID för att underhålla autentiseringsuppgifter som certifikat.
HDInsight på AKS förlitar sig på användartilldelad MSI för kommunikation mellan olika komponenter.
Skapa lagringskonto – ADLS Gen 2
Lagringskontot används som standardplats för klusterloggar och andra utdata. Aktivera hierarkisk namnrymd när lagringskontot skapas för användning som ADLS Gen2-lagring.
Tilldela en roll: Tilldela rollen "Storage Blob Data Owner" till den användartilldelade MSI som skapats till det här lagringskontot.
Skapa en container: När du har skapat lagringskontot skapar du en container i lagringskontot.
Kommentar
Det finns också möjlighet att skapa en container när klustret skapas.
Skapa Azure SQL Database
Skapa en Azure SQL Database som ska användas som ett externt metaarkiv när klustret skapas eller så kan du använda en befintlig SQL Database. Kontrollera dock att följande egenskaper har angetts.
Nödvändiga egenskaper som ska aktiveras för SQL Server och SQL Database-
| Resurstyp | Property | beskrivning |
|---|---|---|
| SQL Server | Autentiseringsmetod | När du skapar en SQL Server använder du "autentiseringsmetod" som 
|
| SQL Database | Tillåt Azure-tjänster och resurser att få åtkomst till den här servern | Aktivera den här egenskapen under bladet Nätverk i SQL-databasen i Azure Portal. |
Kommentar
- För närvarande stöder vi endast Azure SQL Database som inbyggt metaarkiv.
- På grund av Hive-begränsning stöds inte "-" (bindestreck) i metaarkivdatabasens namn.
- Azure SQL Database bör finnas i samma region som klustret.
- Det finns också möjlighet att skapa en SQL Database när klustret skapas. Du måste dock uppdatera sidan för att skapa klustret för att den nyligen skapade databasen ska visas i listrutan.
Skapa Azure Key Vault
Med Key Vault kan du lagra SQL Server-administratörslösenordet när SQL Database skapas. HDInsight på AKS-plattformen hanterar inte autentiseringsuppgifterna direkt. Därför är det nödvändigt att lagra dina viktiga autentiseringsuppgifter i Key Vault.
Tilldela en roll: Tilldela rollen "Key Vault Secrets User" till den användartilldelade MSI som skapats som en del av nödvändiga resurser till det här nyckelvalvet.
Skapa en hemlighet: Med det här steget kan du behålla ditt SQL Server-administratörslösenord som en hemlighet i Azure Key Vault. Lägg till lösenordet i fältet Värde när du skapar en hemlighet.
Kommentar
- Observera det hemliga namnet eftersom detta krävs när klustret skapas.
- Du måste ha en "Key Vault Administrator"-roll tilldelad till din identitet eller ditt konto för att lägga till en hemlighet i Key Vault med hjälp av Azure Portal. Gå till Key Vault och följ stegen för hur du tilldelar rollen.