Compartir a través de

Interfaz de la línea de comandos (CLI) de Apache Flink® en HDInsight en clústeres de AKS

  • Artículo

Nota:

Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.

Solo el soporte técnico básico estará disponible hasta la fecha de retirada.

Importante

Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos en la comunidad de Azure HDInsight para obtener más actualizaciones.

Apache Flink proporciona una CLI (interfaz de línea de comandos) bin/flink para ejecutar trabajos (programas) que se empaquetan como archivos JAR y controlar su ejecución. La CLI forma parte de la configuración de Flink y se puede configurar en una máquina virtual de un solo nodo. Se conecta al JobManager en ejecución especificado en conf/flink-conf.yaml.

Pasos de instalación

Para instalar la CLI de Flink en Linux, necesita una máquina virtual Linux para ejecutar el script de instalación. Debe ejecutar un entorno de Bash si está en Windows.

Nota:

Esto no funciona en Windows GIT BASH, debe instalar WSL para que esto funcione en Windows.

Requisitos

  • Install JRE 11. Si no está instalado, siga los pasos descritos en /java/openjdk/download.
  • Agregue java a PATH o defina la variable de entorno JAVA_HOME que apunte al directorio de instalación de JRE, de modo que $JAVA_HOME/bin/java exista.

Instalación o actualización

Para instalar y actualizar la CLI es necesario volver a ejecutar el script de instalación. Instale la CLI mediante la ejecución de curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Si usa Flink 1.17, puede usar la CLI siguiente

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Este comando instala la CLI de Flink en el directorio principal del usuario ($HOME/flink-cli). El script también se puede descargar y ejecutar localmente. Es posible que tenga que reiniciar el shell para que los cambios surtan efecto.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota:

Si se ejecuta a través del pod SSH, use el comando bin/flink list para proporcionar la salida completa.

Si no desea agregar esos parámetros cada vez, agréguelos a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Ahora el comando se convierte

bin/flink list

El resultado debe ser parecido a lo siguiente:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin en el explorador y escriba el código y, a continuación, use el identificador de microsoft.com para iniciar sesión. Después de iniciar sesión correctamente, debería ver la salida como la siguiente si no se está ejecutando ningún trabajo.

Waiting for response...
No running jobs.
No scheduled jobs.

error de curl Object Moved

Si recibe un error de curl relacionado con el parámetro -L o un mensaje de error incluido el texto "Objeto movido", intente usar la dirección URL completa en lugar de la redirección de aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Ejemplos

Estos son algunos ejemplos de acciones compatibles con la herramienta de la CLI de Flink:

Acción Propósito
run Esta acción ejecuta trabajos. Requiere al menos el archivo jar que contiene el trabajo. Si es necesario, se pueden pasar argumentos relacionados con Flink o el trabajo.
info Esta acción se puede usar para imprimir un gráfico de ejecución optimizado del trabajo pasado. De nuevo, es necesario pasar el archivo JAR que contiene el trabajo.
list Esta acción enumera todos los trabajos en ejecución o programados.
savepoint Esta acción se puede usar para crear o eliminar puntos de retorno para un trabajo determinado. Es posible que sea necesario especificar un directorio de punto de retorno además del JobID.
cancel Esta acción se puede usar para cancelar trabajos en ejecución en función de su JobID.
stop Esta acción combina las acciones cancelar y guardar puntos para detener un trabajo en ejecución, pero también crea un punto de retorno para empezar de nuevo.

Se puede acceder a todas las acciones y sus parámetros a través de los siguientes comandos:

bin/flink --help

La información de uso de cada acción individual

bin/flink <action> --help

Sugerencia

  • Si tiene un proxy que bloquea la conexión: para obtener los scripts de instalación, el proxy debe permitir conexiones HTTPS a las siguientes direcciones: https://aka.ms/ y https://hdiconfigactions.blob.core.windows.net
  • Para resolver el problema, agregue el usuario o grupo al perfil de autorización.

Referencia