Een Apache Flink-cluster® maken in HDInsight op AKS met Azure Portal
Belangrijk
Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie over via deze aankondiging.
U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.
Belangrijk
Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.
Voer de volgende stappen uit om een Apache Flink-cluster te maken in Azure Portal.
Voorwaarden
Voltooi de vereisten in de volgende secties:
- vereisten voor abonnement
- Resourcevereisten
- een clustergroep maken
Belangrijk
- Als u een cluster in een nieuwe clustergroep wilt maken, wijst u de rol AKS-agentpool MSI Managed Identity Operator toe voor de door de gebruiker toegewezen beheerde identiteit die is gemaakt als onderdeel van de resourcevereisten. Als u over de vereiste machtigingen beschikt, wordt deze stap geautomatiseerd tijdens het maken.
- De beheerde identiteit van AKS-agentpool wordt gemaakt tijdens het maken van een clustergroep. U kunt de beheerde identiteit van de AKS-agentpool identificeren door (naam van uw clusterpool)-agentpool. Volg deze stappen om rol toe te wijzen aan.
Een Apache Flink-cluster maken
Flink-clusters kunnen worden gemaakt zodra de implementatie van de clustergroep is voltooid, laten we de stappen doorlopen voor het geval u aan de slag gaat met een bestaande clustergroep
Typ in de Azure-portal HDInsight-clustergroepen/HDInsight/HDInsight op AKS en selecteer Azure HDInsight op AKS-clustergroepen om naar de pagina met clustergroepen te gaan. Selecteer op de pagina HDInsight op AKS-clustergroepen de clustergroep waarin u een nieuw Flink-cluster wilt maken.
Klik op de pagina specifieke clustergroep op + Nieuw cluster en geef de volgende informatie op:
Eigendom Beschrijving Abonnement Dit veld wordt automatisch ingevuld met het Azure-abonnement dat is geregistreerd voor de clustergroep. Resourcegroep Dit veld wordt automatisch ingevuld en toont de resourcegroep in de clusterpool. Regio Dit veld wordt automatisch ingevuld en toont de regio die is geselecteerd in de clustergroep. Clustergroep Dit veld wordt automatisch ingevuld en toont de naam van de clustergroep waarop het cluster nu wordt gemaakt. Als u een cluster in een andere pool wilt maken, zoekt u die clustergroep in de portal en klikt u op + Nieuw cluster. HDInsight in AKS-poolversie Dit veld wordt automatisch ingevuld en toont de versie van de clustergroep waarop het cluster nu wordt gemaakt. HDInsight op versie van AKS Selecteer de minor- of patchversie van HDInsight op het nieuwe cluster in AKS. Clustertype Selecteer Flink in de vervolgkeuzelijst. Clusternaam Voer de naam van het nieuwe cluster in. Door de gebruiker toegewezen beheerde identiteit Selecteer in de vervolgkeuzelijst de beheerde identiteit die u wilt gebruiken met het cluster. Als u de eigenaar van de Managed Service Identity (MSI) bent en de MSI de rol Managed Identity Operator niet heeft op het cluster, klikt u op de koppeling onder het vak om de benodigde machtiging toe te wijzen vanuit de MSI van de AKS-agentgroep. Als de MSI al over de juiste machtigingen beschikt, wordt er geen koppeling weergegeven. Zie de vereisten voor andere roltoewijzingen die zijn vereist voor de MSI. Opslagaccount Selecteer in de vervolgkeuzelijst het opslagaccount dat u wilt koppelen aan het Flink-cluster en geef de containernaam op. De beheerde identiteit krijgt verder toegang tot het opgegeven opslagaccount, met behulp van de rol 'Storage Blob Data-eigenaar' tijdens het maken van het cluster. Virtueel netwerk Het virtuele netwerk voor het cluster. Subnetwerk Het virtuele subnet voor het cluster. Het inschakelen van Hive-catalogus voor Flink SQL.
Eigendom Beschrijving Hive-catalogus gebruiken Schakel deze optie in om een externe Hive-metastore te gebruiken. SQL Database voor Hive Selecteer in de vervolgkeuzelijst de SQL Database waarin u hive-metastore-tabellen wilt toevoegen. Gebruikersnaam van SQL-beheerder Voer de gebruikersnaam van de SQL-serverbeheerder in. Dit account wordt door metastore gebruikt om te communiceren met sql-database. Sleutelkluis Selecteer in de vervolgkeuzelijst de Sleutelkluis, die een geheim met wachtwoord bevat voor de gebruikersnaam van de SQL Server-beheerder. U moet een toegangsbeleid instellen met alle vereiste machtigingen, zoals sleutelmachtigingen, geheime machtigingen en certificaatmachtigingen voor de MSI, die wordt gebruikt voor het maken van het cluster. De MSI heeft de rol Key Vault-beheerder nodig, voeg de vereiste machtigingen toe met behulp van IAM. Sql-wachtwoordgeheimnaam Voer de geheime naam in uit de Sleutelkluis waarin het wachtwoord van de SQL-database is opgeslagen. Notitie
Standaard, gebruiken we het opslagaccount voor de Hive-catalogus, hetzelfde als het opslagaccount en de container die tijdens de creatie van het cluster worden gebruikt.
Selecteer Volgende: Configuratie om door te gaan.
Geef op de pagina Configuration de volgende informatie op:
Eigenschap Beschrijving Grootte van knooppunt Selecteer de knooppuntgrootte die moet worden gebruikt voor de Flink-knooppunten, zowel hoofd- als werkknooppunten. Aantal knooppunten Selecteer het aantal knooppunten voor Flink-cluster; standaard zijn er twee hoofdknooppunten. De grootte van werkknooppunten helpt bij het bepalen van de configuraties van taakbeheer voor de Flink. De jobbeheer- en geschiedenisserver bevinden zich op hoofdknooppunten. Geef in de sectie Serviceconfiguratie de volgende informatie op:
Eigenschap Beschrijving CPU van taakbeheer Geheel getal. Voer de grootte in van de CPU's van Taakbeheer (in kernen). Geheugen van taakbeheer in MB Voer de geheugengrootte van Taakbeheer in MB in. Min. van 1800 MB. CPU van jobmanager Geheel getal. Voer het aantal CPU's in voor de jobmanager (in kernen). Geheugen van jobmanager in MB Voer de geheugengrootte in MB in. Minimaal 1800 MB. De CPU van de geschiedenisserver Geheel getal. Voer het aantal CPU's in voor de jobmanager (in kernen). Geheugen van geschiedenisserver in MB Voer de geheugengrootte in MB in. Minimaal 1800 MB. Notitie
- Geschiedenisserver kan naar behoefte worden ingeschakeld/uitgeschakeld.
- Automatische schaalaanpassing op basis van schema's wordt ondersteund in Flink. U kunt het aantal werkknooppunten zo nodig plannen. Het is bijvoorbeeld ingeschakeld voor automatisch schalen op basis van een planning met het standaardaantal werkknooppunten als 3. En tijdens weekdagen van 9:00 UTC tot 20:00 UTC zijn de werkknooppunten gepland op 10. Later op de dag moet deze standaard worden ingesteld op 3 knooppunten (tussen 20:00 UTC en volgende dag 09:00 UTC). Tijdens het weekend van 9:00 UTC tot 20:00 UTC zijn werkknooppunten 4.
Werk in de sectie Auto Scale & SSH het volgende bij:
Eigenschap Beschrijving Automatisch schalen Bij de selectie kunt u de op planning gebaseerde automatische schaalaanpassing kiezen om de planning voor schaalbewerkingen te configureren. SSH inschakelen Bij selectie kunt u kiezen voor het totale aantal vereiste SSH-knooppunten. Dit zijn de toegangspunten voor de Flink CLI met behulp van Secure Shell. Het toegestane maximum aantal SSH-knooppunten is 5. Klik op de knop Volgende: Integratie om door te gaan naar de volgende pagina.
Geef op de pagina Integratie de volgende informatie op:
Eigentuin Beschrijving Logboekanalyse Deze functie is alleen beschikbaar als de clustergroep een geassocieerde Log Analytics-werkruimte heeft. Zodra de functie is ingeschakeld, kunnen de logboeken die moeten worden verzameld, worden geselecteerd. Azure Prometheus Met deze functie kunt u inzichten en logboeken rechtstreeks in uw cluster weergeven door metrische gegevens en logboeken naar de Azure Monitor-werkruimte te verzenden. Klik op de knop Volgende: Tags om door te gaan naar de volgende pagina.
Geef op de pagina Tags de volgende informatie op:
Eigenschap Beschrijving Naam Facultatief. Voer een naam in zoals HDInsight in AKS om eenvoudig alle resources te identificeren die zijn gekoppeld aan uw clusterbronnen. Waarde U kunt dit leeg laten. Hulpbron Selecteer alles; alle middelen geselecteerd. Kies Volgende: Review + maak om door te gaan.
Zoek op de pagina Controleren en maken naar het bericht validatie is geslaagd boven aan de pagina en klik vervolgens op maken.
De implementatie van is in uitvoering; de-pagina wordt weergegeven waarop het cluster wordt aangemaakt. Het duurt 5-10 minuten om het cluster te maken. Zodra het cluster is gemaakt, wordt het bericht 'Uw implementatie is voltooid' weergegeven bericht wordt weergegeven. Als u van de pagina weg navigeert, kunt u uw meldingen controleren op de huidige status.
Notitie
Apache, Apache Flink, Flink en bijbehorende opensource-projectnamen zijn handelsmerken van de Apache Software Foundation (ASF).