Compartir a través de

Apache Flink® Command-Line Interface (CLI) en HDInsight en clústeres de AKS

  • Artículo

Importante

Azure HDInsight en AKS se retiró el 31 de enero de 2025. Obtenga más información con este anuncio.

Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.

Apache Flink proporciona una CLI (interfaz de línea de comandos) bin/flink para ejecutar trabajos (programas) que se empaquetan como archivos JAR y para controlar su ejecución. La CLI forma parte de la configuración de Flink y se puede configurar en una máquina virtual de un solo nodo. Se conecta al JobManager en ejecución especificado en conf/flink-conf.yaml.

Pasos de instalación

Para instalar la CLI de Flink en Linux, necesita una máquina virtual Linux para ejecutar el script de instalación. Debe ejecutar un entorno de Bash si está en Windows.

Nota

Esto no funciona en Windows de GIT BASH , debe instalar WSL para que funcione en Windows.

Requisitos

  • Instale JRE 11. Si no está instalado, siga los pasos descritos en /java/openjdk/download.
  • Agregue java a PATH o defina JAVA_HOME variable de entorno que apunte al directorio de instalación de JRE, de modo que $JAVA_HOME/bin/java exista.

Instalación o actualización

Tanto la instalación como la actualización de la CLI requieren volver a ejecutar el script de instalación. Instale la CLI mediante la ejecución de curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Si usa Flink 1.17, puede usar la CLI siguiente.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Este comando instala la CLI de Flink en el directorio principal del usuario ($HOME/flink-cli). El script también se puede descargar y ejecutar localmente. Es posible que tenga que reiniciar el shell para que los cambios surtan efecto.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota

Si se ejecuta a través del pod SSH, use el comando bin/flink list para proporcionar la salida completa.

Si no desea agregar esos parámetros cada vez, agréguelos a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Ahora el comando se convierte en

bin/flink list

Debería ver una salida similar a la siguiente:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin en el explorador y escriba el código y, a continuación, use el identificador de microsoft.com para iniciar sesión. Después de iniciar sesión correctamente, verá una salida como la siguiente si no se está ejecutando ningún trabajo.

Waiting for response...
No running jobs.
No scheduled jobs.

error de curl Object Moved

Si recibe un error de curl relacionado con el parámetro -L o un mensaje de error incluido el texto "Objeto movido", intente usar la dirección URL completa en lugar de la redirección de aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Ejemplos

Estos son algunos ejemplos de acciones compatibles con la herramienta de la CLI de Flink:

Acción Propósito
correr Esta acción ejecuta trabajos. Requiere al menos el archivo JAR que contiene el trabajo. Si es necesario, se pueden pasar argumentos relacionados con Flink o con el trabajo.
información Esta acción se puede usar para imprimir un gráfico de ejecución optimizado del trabajo pasado. De nuevo, es necesario pasar el archivo JAR que contiene el trabajo.
lista Esta acción enumera todos los trabajos en ejecución o programados.
punto de guardado Esta acción se puede usar para crear o eliminar puntos de retorno para un trabajo determinado. Es posible que sea necesario especificar un directorio de punto de guardado además del JobID.
Cancelar Esta acción se puede usar para cancelar trabajos en ejecución según su identificador de trabajo (JobID).
parar Esta acción combina la acciones cancelar y guardar puntos para detener un trabajo en ejecución, pero también crea un punto de retorno para empezar de nuevo.

Se puede acceder a todas las acciones y sus parámetros a través de los siguientes comandos:

bin/flink --help

Información de uso de cada acción individual

bin/flink <action> --help

Propina

  • Si tiene un proxy que bloquea la conexión: para obtener los scripts de instalación, el proxy debe permitir conexiones HTTPS a las siguientes direcciones: https://aka.ms/ y https://hdiconfigactions.blob.core.windows.net
  • Para resolver el problema, agregue el usuario o grupo al perfil de autorización de .

Referencia