다음을 통해 공유

AKS 클러스터의 HDInsight에서 Apache Flink® Command-Line 인터페이스(CLI)

  • 아티클

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 로에 대해 자세히 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 미리 보기의 보충 사용 약관은 베타, 미리 보기 상태 또는 아직 일반 공급으로 출시되지 않은 기능에 적용되는 더 많은 법률 조항을 포함하고 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우, AskHDInsight에 요청을 제출해 주세요. 자세한 업데이트는 Azure HDInsight Community를 팔로우하세요.

Apache Flink는 JAR 파일로 패키지된 작업(프로그램)을 실행하고 실행을 제어하기 위한 cli(명령줄 인터페이스) bin/flink 제공합니다. CLI는 Flink 설정의 일부이며 단일 노드 VM에서 설정할 수 있습니다. 지정된 conf/flink-conf.yaml실행 중인 JobManager에 연결합니다.

설치 단계

Linux에 Flink CLI를 설치하려면 설치 스크립트를 실행하려면 Linux VM 필요합니다. 만약 Windows에서 사용 중이라면, bash 환경을 실행해야 합니다.

메모

Windows GIT BASH작동하지 않습니다. Windows에서 이 작업을 수행하려면 WSL 설치해야 합니다.

요구 사항

  • JRE 11을 설치합니다. 설치되지 않은 경우 /java/openjdk/download설명된 단계를 따릅니다.
  • PATH에 java를 추가하거나 $JAVA_HOME/bin/java 존재하도록 JRE 설치 디렉터리를 가리키는 JAVA_HOME 환경 변수를 정의합니다.

설치 또는 업데이트

CLI를 설치하고 업데이트하려면 설치 스크립트를 다시 실행해야 합니다. curl을 실행하여 CLI를 설치합니다.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Flink 1.17을 사용하는 경우 아래 CLI를 사용할 수 있습니다.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

이 명령은 사용자의 홈 디렉터리($HOME/flink-cli)에 Flink CLI를 설치합니다. 스크립트를 다운로드하여 로컬로 실행할 수도 있습니다. 변경 내용을 적용하려면 셸을 다시 시작해야 할 수 있습니다.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

메모

SSH Pod를 통해 실행하는 경우 명령 bin/flink list 사용하여 전체 출력을 제공합니다.

매번 해당 매개 변수를 추가하지 않으려면 conf/flink-conf.yaml에 추가하세요.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

이제 명령어로 바뀝니다.

bin/flink list

다음과 같은 출력이 표시됩니다.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

브라우저에서 https://microsoft.com/devicelogin 열고 코드를 입력한 다음 microsoft.com ID를 사용하여 로그인합니다. 성공적으로 로그인한 후에는 작업이 실행되고 있지 않으면 다음과 같은 출력이 표시됩니다.

Waiting for response...
No running jobs.
No scheduled jobs.

curl Object Moved 오류

-L 매개 변수와 관련된 curl에서 오류가 발생하거나 "개체 이동" 텍스트가 포함된 오류 메시지가 표시되면 aka.ms 리디렉션 대신 전체 URL을 사용해 보세요.

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

예제

다음은 Flink의 CLI 도구에서 지원하는 작업의 몇 가지 예입니다.

행동 목적
달리다 이 액션은 업무를 실행합니다. 최소한 작업을 포함하는 jar 파일이 필요합니다. 필요한 경우 Flink 또는 작업 관련 인수를 전달할 수 있습니다.
정보 이 작업은 전달된 작업의 최적화된 실행 그래프를 인쇄하는 데 사용할 수 있습니다. 다시 말하지만, 작업이 들어 있는 jar을 전달해야 합니다.
목록 이 작업 은 실행 중이거나 예약된 작업을 모두 나열합니다.
세이브포인트 이 작업은 지정된 작업에 대한 저장점 만들거나 삭제하는 사용할 수 있습니다. JobID 외에 저장점 디렉터리를 지정해야 할 수도 있습니다.
취소 이 작업은 JobID에 따라 실행 중인 작업 취소할 데 사용할 수 있습니다.
멈춰! 이 작업은 취소 및 저장점 작업을 결합하여 실행 중인 작업을 중지하고 처음부터 다시 시작할 저장점도 만듭니다.

모든 작업 및 해당 매개 변수는 다음 명령을 통해 액세스할 수 있습니다.

bin/flink --help

각 개별 작업의 사용량 정보

bin/flink <action> --help

팁

  • 연결을 차단하는 프록시가 있는 경우: 설치 스크립트를 얻으려면 프록시가 다음 주소에 대한 HTTPS 연결을 허용해야 합니다. https://aka.ms/ 및 https://hdiconfigactions.blob.core.windows.net
  • 이 문제를 해결하려면 권한 부여 프로필사용자 또는 그룹을 추가합니다.

참조