Inicio de la CLI de cliente SQL en modo de puerta de enlace
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos en la comunidad de Azure HDInsight para obtener más actualizaciones.
En este tutorial, se explica cómo iniciar la CLI del cliente SQL en modo de puerta de enlace en Apache Flink Cluster 1.17.0 en HDInsight en AKS. En el modo de puerta de enlace, la CLI envía el SQL a la puerta de enlace remota especificada para ejecutar instrucciones.
./bin/sql-client.sh gateway --endpoint <gateway address>
Nota:
En el clúster de Apache Flink en HDInsight en AKS, cualquier conexión externa pasará a través del puerto 443. Pero internamente, volverá a enrutar la solicitud al servicio sql-gateway que escucha en el puerto 8083.
Compruebe el servicio sql gateway en el lado de AKS:
¿Qué es el cliente SQL en Flink?
La API de Table & SQL de Flink permite trabajar con consultas escritas en el lenguaje SQL, pero estas necesitan insertarse dentro de un programa de tabla escrito en Java o Scala. Además, estos programas deben empaquetarse con una herramienta de compilación antes de enviarse a un clúster. Esta característica limita el uso de Flink a programadores de Java/Scala.
El cliente SQL tiene como objetivo proporcionar una manera sencilla de escribir, depurar y enviar programas de tabla a un clúster de Flink sin escribir una sola línea de código Java o Scala. La CLI del cliente SQL permite recuperar y visualizar los resultados en tiempo real de la aplicación distribuida en ejecución en la línea de comandos.
Para obtener más información, consulte cómo ingresar al cliente de la CLI de SQL de Flink en webssh.
¿Qué es SQL Gateway en Flink?
SQL Gateway es un servicio que permite que varios clientes ejecuten SQL remotamente y en simultaneidad. Proporciona una manera fácil de enviar el trabajo de Flink, buscar los metadatos y analizar los datos en línea.
Para obtener más información, consulte SQL Gateway.
Inicio de la CLI del cliente SQL en modo de puerta de enlace en Flink-cli
En el clúster de Apache Flink en HDInsight en AKS, inicie la CLI del cliente SQL en modo de puerta de enlace mediante el siguiente comando:
./bin/sql-client.sh gateway --endpoint host:port
or
./bin/sql-client.sh gateway --endpoint https://fqdn/sql-gateway
Obtenga el punto de conexión del clúster (host o FQDN) en Azure Portal.
Prueba
Preparación
Descarga de la CLI de Flink
- Descargue la CLI de Flink desde https://aka.ms/hdionaksflink117clilinux en la máquina Windows local.
Instale Subsistema de Windows para Linux a fin de que esto funcione en la máquina Windows local.
Abra el comando de Windows y ejecute lo siguiente (reemplace JAVA_HOME y la ruta de acceso flink-cli por su propia cuenta) para descargar flink-cli:
Windows Subsystem for Linux --distribution Ubuntu export JAVA_HOME=/mnt/c/Work/99_tools/zulu11.56.19-ca-jdk11.0.15-linux_x64 cd <folder> wget https://hdiconfigactions.blob.core.windows.net/hiloflink17blob/flink-cli.tgz tar -xvf flink-cli.tgzConfigure el punto de conexión, el id. de inquilino y el puerto 443 en flink-conf.yaml.
user@MININT-481C9TJ:/mnt/c/Users/user/flink-cli$ cd conf user@MININT-481C9TJ:/mnt/c/Users/user/flink-cli/conf$ ls -l total 8 -rwxrwxrwx 1 user user 2451 Feb 26 20:33 flink-conf.yaml -rwxrwxrwx 1 user user 2946 Feb 23 14:13 log4j-cli.properties user@MININT-481C9TJ:/mnt/c/Users/user/flink-cli/conf$ cat flink-conf.yaml rest.address: <flink cluster endpoint on Azure portal> azure.tenant.id: <tenant ID> rest.port: 443Permitir la dirección IP pública de Windows local con el puerto 443 con el VPN habilitado en HDInsight en la entrada de red de seguridad de la subred del clúster de AKS.
Ejecute el sql-client.sh en modo de puerta de enlace en Flink-cli para Flink SQL.
bin/sql-client.sh gateway --endpoint https://fqdn/sql-gatewayEjemplo
user@MININT-481C9TJ:/mnt/c/Users/user/flink-cli$ bin/sql-client.sh gateway --endpoint https://fqdn/sql-gateway ▒▓██▓██▒ ▓████▒▒█▓▒▓███▓▒ ▓███▓░░ ▒▒▒▓██▒ ▒ ░██▒ ▒▒▓▓█▓▓▒░ ▒████ ██▒ ░▒▓███▒ ▒█▒█▒ ░▓█ ███ ▓░▒██ ▓█ ▒▒▒▒▒▓██▓░▒░▓▓█ █░ █ ▒▒░ ███▓▓█ ▒█▒▒▒ ████░ ▒▓█▓ ██▒▒▒ ▓███▒ ░▒█▓▓██ ▓█▒ ▓█▒▓██▓ ░█░ ▓░▒▓████▒ ██ ▒█ █▓░▒█▒░▒█▒ ███▓░██▓ ▓█ █ █▓ ▒▓█▓▓█▒ ░██▓ ░█░ █ █▒ ▒█████▓▒ ██▓░▒ ███░ ░ █░ ▓ ░█ █████▒░░ ░█░▓ ▓░ ██▓█ ▒▒▓▒ ▓███████▓░ ▒█▒ ▒▓ ▓██▓ ▒██▓ ▓█ █▓█ ░▒█████▓▓▒░ ██▒▒ █ ▒ ▓█▒ ▓█▓ ▓█ ██▓ ░▓▓▓▓▓▓▓▒ ▒██▓ ░█▒ ▓█ █ ▓███▓▒░ ░▓▓▓███▓ ░▒░ ▓█ ██▓ ██▒ ░▒▓▓███▓▓▓▓▓██████▓▒ ▓███ █ ▓███▒ ███ ░▓▓▒░░ ░▓████▓░ ░▒▓▒ █▓ █▓▒▒▓▓██ ░▒▒░░░▒▒▒▒▓██▓░ █▓ ██ ▓░▒█ ▓▓▓▓▒░░ ▒█▓ ▒▓▓██▓ ▓▒ ▒▒▓ ▓█▓ ▓▒█ █▓░ ░▒▓▓██▒ ░▓█▒ ▒▒▒░▒▒▓█████▒ ██░ ▓█▒█▒ ▒▓▓▒ ▓█ █░ ░░░░ ░█▒ ▓█ ▒█▓ ░ █░ ▒█ █▓ █▓ ██ █░ ▓▓ ▒█▓▓▓▒█░ █▓ ░▓██░ ▓▒ ▓█▓▒░░░▒▓█░ ▒█ ██ ▓█▓░ ▒ ░▒█▒██▒ ▓▓ ▓█▒ ▒█▓▒░ ▒▒ █▒█▓▒▒░░▒██ ░██▒ ▒▓▓▒ ▓██▓▒█▒ ░▓▓▓▓▒█▓ ░▓██▒ ▓░ ▒█▓█ ░░▒▒▒ ▒▓▓▓▓▓▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░▓▓ ▓░▒█░ ______ _ _ _ _____ ____ _ _____ _ _ _ BETA | ____| (_) | | / ____|/ __ \| | / ____| (_) | | | |__ | |_ _ __ | | __ | (___ | | | | | | | | |_ ___ _ __ | |_ | __| | | | '_ \| |/ / \___ \| | | | | | | | | |/ _ \ '_ \| __| | | | | | | | | < ____) | |__| | |____ | |____| | | __/ | | | |_ |_| |_|_|_| |_|_|\_\ |_____/ \___\_\______| \_____|_|_|\___|_| |_|\__| Welcome! Enter 'HELP;' to list all available commands. 'QUIT;' to exit. Command history file path: /home/user/.flink-sql-historyAntes de consultar cualquier tabla con origen externo, prepare los archivos JAR relacionados. Los ejemplos siguientes consultan la tabla kafka, la tabla mysql en Flink SQL. Descargue el archivo jar y colóquelo en el clúster de Flink conectado al almacenamiento de Azure Data Lake Storage gen2.
Jars en Azure Data Lake Storage gen2 en Azure Portal:
Use la tabla ya creada y colóquela en el metastore de Hive para la administración y, luego, ejecute la consulta.
Nota:
En este ejemplo, todos los archivos jar de HDInsight en AKS usan de forma predeterminada Azure Data Lake Storage Gen2. N es necesario que el contenedor y la cuenta de almacenamiento sean los mismos que se especificaron durante la creación del clúster. Si es necesario, puede especificar otra cuenta de almacenamiento y conceder a la identidad administrada por el usuario del clúster el rol de propietario de datos de blobs de almacenamiento en Azure Data Lake Storage Gen2.
CREATE CATALOG myhive WITH ( 'type' = 'hive' ); USE CATALOG myhive; // ADD jar into environment ADD JAR 'abfs://<container>@<storage name>.dfs.core.windows.net/jar/flink-connector-jdbc-3.1.0-1.17.jar'; ADD JAR 'abfs://<container>@<storage name>.dfs.core.windows.net/jar/mysql-connector-j-8.0.33.jar'; ADD JAR 'abfs://<container>@<storage name>.dfs.core.windows.net/jar/kafka-clients-3.2.0.jar'; ADD JAR 'abfs://<container>@<storage name>.dfs.core.windows.net/jar/flink-connector-kafka-1.17.0.jar'; Flink SQL> show jars; ----------------------------------------------------------------------------------------------+ | jars | +----------------------------------------------------------------------------------------------+ | abfs://<container>@<storage name>.dfs.core.windows.net/jar/flink-connector-kafka-1.17.0.jar | | abfs://<container>@<storage name>.dfs.core.windows.net/jar/flink-connector-jdbc-3.1.0-1.17.jar | | abfs://<container>@<storage name>.dfs.core.windows.net/jar/kafka-clients-3.2.0.jar | | abfs://<container>@<storage name>.dfs.core.windows.net/jar/mysql-connector-j-8.0.33.jar | +----------------------------------------------------------------------------------------------+ 4 rows in set Flink SQL> SET 'sql-client.execution.result-mode' = 'tableau'; [INFO] Execute statement succeed. Flink SQL> show tables; +----------------------+ | table name | +----------------------+ | flightsintervaldata1 | | kafka_user_orders | | kafkatable | | mysql_user_orders | | orders | +----------------------+ 5 rows in set // mysql cdc table Flink SQL> select * from mysql_user_orders; +----+-------------+----------------------------+-------------+--------------------------------+--------------+-------------+--------------+ | op | order_id | order_date | customer_id | customer_name | price | product_id | order_status | +----+-------------+----------------------------+-------------+--------------------------------+--------------+-------------+--------------+ | +I | 10001 | 2023-07-16 10:08:22.000000 | 1 | Jark | 50.00000 | 102 | FALSE | | +I | 10002 | 2023-07-16 10:11:09.000000 | 2 | Sally | 15.00000 | 105 | FALSE | | +I | 10003 | 2023-07-16 10:11:09.000000 | 3 | Sally | 25.00000 |
Referencia
Interfaz de la línea de comandos (CLI) de Apache Flink® en HDInsight en clústeres de AKS