Een Spark-cluster maken in HDInsight in AKS (preview)
Belangrijk
Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie in deze aankondiging.
U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.
Belangrijk
Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Voor meer informatie over deze specifieke preview, zie Azure HDInsight op AKS preview-informatie. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.
Zodra de stappen voor abonnementvereisten en resourcevereisten zijn voltooid en u een clustergroep hebt geïmplementeerd, kunt u doorgaan met het gebruik van de Azure Portal om een Spark-cluster te maken. U kunt Azure Portal gebruiken om een Apache Spark-cluster te maken in de clustergroep. Vervolgens kunt u een Jupyter Notebook maken en deze gebruiken om Spark SQL-query's uit te voeren op Apache Hive-tabellen.
Typ in Azure Portal clustergroepen en selecteer clustergroepen om naar de pagina clustergroepen te gaan. Selecteer op de pagina clustergroepen de clustergroep waarin u een nieuw Spark-cluster kunt toevoegen.
Klik op de pagina specifieke clustergroep op + Nieuw cluster.
Met deze stap opent u de pagina cluster maken.
Eigenschap Beschrijving Abonnement Het Azure-abonnement dat in de sectie Vereisten is geregistreerd voor gebruik met HDInsight op AKS, zal vooraf worden ingevuld. Resourcegroep Dezelfde resourcegroep als de clusterpool wordt automatisch vooraf ingevuld. Regio Dezelfde regio als de clustergroep en virtuele worden vooraf ingevuld Clustergroep De naam van de clustergroep wordt vooraf ingevuld HDInsight-poolversie De versie van de clustergroep wordt vooraf ingevuld vanuit de selectie die wordt gebruikt bij het aanmaken van de pool. HDInsight in AKS-versie Specificeer de HDI-versie op AKS Clustertype Selecteer Spark in de vervolgkeuzelijst Clusterversie Selecteer de versie van de afbeelding die u wilt gebruiken Clusternaam Voer de naam van het nieuwe cluster in Door de gebruiker toegewezen beheerde identiteit Selecteer de door de gebruiker toegewezen beheerde identiteit die werkt als een verbindingsreeks met de opslag Opslagaccount Selecteer het vooraf gemaakte opslagaccount dat moet worden gebruikt als primaire opslag voor het cluster Containernaam Selecteer de containernaam (uniek) als u vooraf een nieuwe container hebt gemaakt of gemaakt Hive-Catalogus (optioneel) Selecteer de vooraf gemaakte Hive-metastore (Azure SQL DB) SQL Database ten behoeve van Hive Selecteer in de vervolgkeuzelijst de SQL Database waarin u hive-metastore-tabellen wilt toevoegen. Gebruikersnaam van SQL-beheerder Voer de gebruikersnaam van de SQL-beheerder in Sleutelkluis Selecteer in de vervolgkeuzelijst de Sleutelkluis, die een geheim bevat met een wachtwoord voor de gebruikersnaam van de SQL-beheerder Sql-wachtwoordgeheimnaam Voer de geheime naam in van de Sleutelkluis waar het SQL DB-wachtwoord is opgeslagen Notitie
- Momenteel biedt HDInsight alleen ondersteuning voor MS SQL Server-databases.
- Vanwege hive-beperking wordt het teken '-' (afbreekstreepje) in de naam van de metastore-database niet ondersteund.
Selecteer Volgende: Configuratie en prijzen om door te gaan.
Eigendom Beschrijving Grootte van knooppunt Selecteer de knooppuntgrootte die u wilt gebruiken voor de Spark-knooppunten Aantal werkknooppunten Selecteer het aantal knooppunten voor een Spark-cluster. Drie knooppunten zijn gereserveerd voor coördinator- en systeemservices, resterende knooppunten zijn toegewezen aan Spark-werkrollen, één werkrol per knooppunt. In een cluster met vijf knooppunten zijn er bijvoorbeeld twee werkers. Automatisch schalen Klik op de wisselknop om Automatisch schalen in te schakelen Type automatische schaalaanpassing Kies voor automatisch schalen op basis van belasting of op planning gebaseerd. Gracieuze time-out voor buitengebruikstelling Time-out voor ordelijke buitengebruikstelling instellen Geen standaardwerkknooppunt Selecteer het aantal knooppunten voor automatisch schalen Tijdzone Selecteer de tijdzone Regels voor automatisch schalen Selecteer de dag, begintijd, eindtijd en aantal werkknooppunten SSH inschakelen Als dit is ingeschakeld, kunt u het voorvoegsel en het aantal SSH-knooppunten definiëren Klik op Volgende: Integraties om Log Analytics voor logboekregistratie in te schakelen en te selecteren.
Azure Prometheus voor bewaking en metrische gegevens kan worden ingeschakeld na het maken van clusters.
Klik op Volgende: Tags om verder te gaan naar de volgende pagina.
Voer op de pagina Tags alle tags in die u aan uw resource wilt toevoegen.
Eigenschap Beschrijving Naam Facultatief. Voer een naam in, zoals HDInsight in AKS Private Preview, om eenvoudig alle resources te identificeren die zijn gekoppeld aan uw resources Waarde Laat dit leeg Hulpbron Alle resources geselecteerd Klik op Volgende: Controleren enmaken.
Zoek op de pagina Controleren en makennaar het bericht Validatie geslaagd boven aan de pagina en klik vervolgens op maken.
De -implementatie is in uitvoering, en de-pagina wordt weergegeven waarop het cluster wordt gemaakt. Het duurt 5-10 minuten om het cluster te maken. Zodra het cluster is gemaakt, wordt het bericht Uw implementatie is voltooid weergegeven. Als u van de pagina weg navigeert, kunt u uw meldingen controleren op de status.
Ga naar de overzichtspagina van het cluster. Hier ziet u eindpuntkoppelingen.
