Delen via

Toegang tot Apache Flink® CLI-client met behulp van Secure Shell (SSH) in HDInsight op AKS-clusters met Azure Portal

  • Artikel

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Leer meer over via deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Voor meer informatie over deze specifieke preview, zie Azure HDInsight op AKS preview-informatie. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

In dit voorbeeld wordt uitgelegd hoe u de Apache Flink CLI-client kunt invoeren in HDInsight op AKS-clusters met behulp van SSH in Azure Portal. We behandelen zowel SQL als Flink DataStream.

Voorwaarden

  • U moet SSH selecteren tijdens het maken van van Flink Cluster

Verbinding maken met de SSH vanuit Azure Portal

Zodra het Flink-cluster is gemaakt, kunt u in het linkerdeelvenster de optie Instellingen zien voor toegang tot Secure Shell

Schermopname waarin wordt getoond hoe u POD maakt en verbinding maakt met webssh.

Verbinding maken met SQL Client

U moet de directory wijzigen naar /opt/flink-webssh/bin en daarna ./sql-client.sh uitvoeren.

Schermopname van het vinden van een SQL-clientbestand.

schermopname waarin wordt getoond hoe u een SQL-client uitvoert.

U bent nu op SQL Client op Flink

Raadpleeg dit document om nog enkele tests uit te voeren.

Flink biedt een Command-Line Interface (CLI) bin/flink om programma's uit te voeren die zijn verpakt als JAR-bestanden en om de uitvoering ervan te beheren.

De CLI maakt deel uit van Secure Shell (SSH) en maakt verbinding met de actieve JobManager en gebruikt de clientconfiguraties die zijn opgegeven in conf/flink-conf.yaml.

Het verzenden van een taak betekent dat u de JAR van de taak uploadt naar de SSH-pod en de taakuitvoering start. Ter illustratie van een voorbeeld voor dit artikel selecteren we een langlopende taak, zoals examples/streaming/StateMachineExample.jar.

Notitie

Voor het beheren van afhankelijkheden wordt verwacht dat je een fat jar-bestand voor de taak bouwt en indient.

  • Upload de fat job jar van ABFS naar webssh.

  • Op basis van uw use-case moet u de clientconfiguraties bewerken met behulp van Flink-configuratiebeheer onder flink-client-configs.

  • Laten we StateMachineExample.jar uitvoeren

    ./bin/flink run \
    --detached \
    ./examples/streaming/StateMachineExample.jar

Notitie

Als u de taak indient met behulp van --detached, wordt de opdracht geretourneerd nadat de inzending is voltooid. De uitvoer bevat de id van de zojuist ingediende taak.

Referentie