Resurskrav

Artikel
09/20/2024

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer genom det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har gjorts allmänt tillgängliga. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med informationen och följ oss för fler uppdateringar på Azure HDInsight Community.

Den här artikeln beskriver de resurser som krävs för att komma igång med HDInsight på AKS. Den omfattar nödvändiga och valfria resurser och hur du skapar dem.

Nödvändiga resurser

I följande tabell visas de resurser som krävs för att skapa kluster baserat på klustertyperna.

Arbetsbörda	Hanterad tjänstidentitet (MSI)	Lagring	SQL Server – SQL Database	Nyckelvalv
Trino	✅
Flink	✅	✅
Gnista	✅	✅
Trino, Flink eller Spark med Hive Metastore (HMS)	✅	✅	✅	✅

Not

MSI används som säkerhetsstandard för autentisering och auktorisering mellan resurser, förutom SQL Database. Rolltilldelningen sker före distributionen för att auktorisera MSI till lagring och hemligheterna lagras i Key Vault för SQL Database. Lagringsstöd är med ADLS Gen2 och används som datalager för beräkningsmotorerna och SQL Database används för tabellhantering i Hive-metaarkivet.

Valfria resurser

Virtuellt nätverk (VNet) och undernät: Skapa virtuellt nätverk
Log Analytics-arbetsyta: Skapa Log Analytics-arbetsyta

Not

VNet kräver undernät utan någon befintlig routningstabell som är associerad med det.
MED HDInsight på AKS kan du ta med ditt eget virtuella nätverk och undernät så att du kan anpassa dina nätverkskrav efter företagets behov.
Log Analytics-arbetsytan är valfri och måste skapas i förväg om du vill använda Azure Monitor-funktioner som Azure Log Analytics.

Du kan skapa nödvändiga resurser på två sätt:

ARM-mallar som är redo att användas
Använda Azure-portalen

Använda ARM-mallar

Med följande ARM-mallar kan du skapa de angivna nödvändiga resurserna med ett klick med hjälp av ett resursprefix och mer information efter behov.

Om du till exempel anger resursprefixet som "demo" skapas följande resurser i resursgruppen beroende på vilken mall du väljer -

MSI skapas med namnet demoMSI.
Lagring skapas med namnet demostore tillsammans med en container som democontainer.
Nyckelvalvet skapas med namnet som demoKeyVault tillsammans med hemligheten som anges som parameter i mallen.
Azure SQL-databasen skapas med namnet som demoSqlDB tillsammans med SQL Server med namnet demoSqlServer.

Arbetsbörda	Förutsättningar
Trino	Skapa de resurser som anges på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet.
Flink	Skapa de resurser som anges på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot.
Gnista	Skapa de resurser som anges på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot.
Trino, Flink eller Spark med Hive Metastore (HMS)	Skapa de resurser som anges på följande sätt: 1. Hanterad tjänstidentitet (MSI): användartilldelad hanterad identitet. 2. ADLS Gen2-lagringskonto och en container. 3. Azure SQL Server och SQL Database. 4. Azure Key Vault och en hemlighet för att lagra autentiseringsuppgifter för SQL Server-administratör. rolltilldelningar: 1. Tilldelar rollen "Storage Blob Data Owner" till användartilldelad MSI på lagringskontot. 2. Tilldelar rollen "Key Vault Secrets User" till användartilldelad MSI i Key Vault.

Anteckning

Med hjälp av dessa ARM-mallar måste en användare ha behörighet att skapa nya resurser och tilldela roller till resurserna i prenumerationen.

Använda Azure-portalen

Skapa användartilldelad hanterad identitet (MSI)

En hanterad identitet är en identitet som är registrerad i Microsoft Entra ID (Microsoft Entra ID) vars autentiseringsuppgifter hanteras av Azure. Med hanterade identiteter behöver du inte registrera tjänstens huvudnamn i Microsoft Entra-ID för att underhålla autentiseringsuppgifter som certifikat.

HDInsight på AKS förlitar sig på användartilldelad MSI för kommunikation mellan olika komponenter.

Skapa lagringskonto – ADLS Gen 2

Lagringskontot används som standardplats för klusterloggar och andra utdata. Aktivera hierarkisk namnrymd när lagringskontot skapas för användning som ADLS Gen2-lagring.

Tilldela en roll: Tilldela rollen "Storage Blob Data Owner" till den användartilldelade MSI som skapats för det här lagringskontot.
Skapa en container: När du har skapat lagringskontot skapar du en container i lagringskontot.

Note

Det finns också möjlighet att skapa en container när klustret skapas.

Skapa Azure SQL Database-

Skapa en Azure SQL Database som ska användas som ett externt metaarkiv när klustret skapas eller så kan du använda en befintlig SQL Database. Kontrollera dock att följande egenskaper har angetts.

Nödvändiga egenskaper som ska aktiveras för SQL Server och SQL Database-

Resurstyp	Egenskap	Beskrivning
SQL Server	Autentiseringsmetod	När du skapar en SQL Server använder du "autentiseringsmetod" som
SQL Database	Tillåt att Azure-tjänster och resurser får åtkomst till den här servern	Aktivera den här egenskapen under bladet Nätverk i SQL-databasen i Azure-portalen.

Notera

För närvarande stöder vi endast Azure SQL Database som inbyggt metaarkiv.
På grund av Hive-begränsning stöds inte "-" (bindestreck) i metaarkivdatabasens namn.
Azure SQL Database bör finnas i samma region som klustret.
Det finns också möjlighet att skapa en SQL Database när klustret skapas. Du måste dock uppdatera sidan för att skapa klustret för att den nyligen skapade databasen ska visas i listrutan.

Skapa Azure Key Vault-

Med Key Vault kan du lagra SQL Server-administratörslösenordet när SQL Database skapas. HDInsight på AKS-plattformen hanterar inte autentiseringsuppgifterna direkt. Därför är det nödvändigt att lagra dina viktiga autentiseringsuppgifter i Key Vault.

Tilldela en roll: Tilldela rollen "Key Vault Secrets User" till den användartilldelade MSI som skapats som en del av de nödvändiga resurserna för det här nyckelvalvet.
Skapa en hemlig: Med det här steget kan du behålla ditt SQL Server-administratörslösenord som en hemlighet i Azure Key Vault. Lägg till lösenordet i fältet Värde när du skapar en hemlighet.

Not

Observera det hemliga namnet eftersom detta krävs när klustret skapas.
Du måste ha en "Key Vault Administrator"-roll tilldelad till din identitet eller ditt konto för att lägga till en hemlighet i Key Vault med hjälp av Azure-portalen. Gå till Key Vault och följ stegen i hur du tilldelar rollen.

Dela via