Azure Portal을 사용하여 AKS의 HDInsight에서 Apache Flink® 클러스터 만들기
중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 발표 을 통해을(를) 더 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure Preview에 대한 추가 사용 약관은 베타, 미리 보기 또는 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 법적 조건을 포함할 있습니다. 이 특정 미리 보기 정보는 Azure HDInsight on AKS에 대한 설명서에서 ,을 참조하세요. 질문이나 기능 제안이 있으시면 AskHDInsight에 요청을 제출해 주시고, 더 많은 업데이트를 원하시면 Azure HDInsight Community를 팔로우해 주세요.
Azure Portal에서 Apache Flink 클러스터를 만들려면 다음 단계를 완료합니다.
필수 구성 요소
다음 섹션의 필수 구성 요소를 완료합니다.
중요하다
- 새 클러스터 풀에서 클러스터를 만들려면 리소스 필수 구성 요소의 일부로 만든 사용자 할당 관리 ID에 AKS 에이전트 풀 MSI "관리 ID 운영자" 역할을 할당합니다. 필요한 권한이 있는 경우 이 단계는 만드는 동안 자동화됩니다.
- AKS 에이전트 풀 관리 ID는 클러스터 풀을 만드는 동안 생성됩니다. AKS 에이전트 풀의 관리 ID를 (clusterpool 이름)-agentpool에서 식별할 수 있습니다. 다음 단계에 따라 역할 을(를)할당합니다.
Apache Flink 클러스터 만들기
클러스터 풀 배포가 완료되면 Flink 클러스터를 만들 수 있습니다. 기존 클러스터 풀을 시작하는 경우 단계를 살펴보겠습니다.
Azure Portal에서 HDInsight 클러스터 풀/HDInsight/HDInsight를 AKS에 입력하고, Azure HDInsight on AKS 클러스터 풀을 선택하여 클러스터 풀 페이지로 이동합니다. AKS 클러스터 풀의 HDInsight 페이지에서 새 Flink 클러스터를 만들 클러스터 풀을 선택합니다.
Azure Portal의 검색 창을 보여 주는
특정 클러스터 풀 페이지에서 + 새 클러스터 클릭하고 다음 정보를 제공합니다.
재산 묘사 구독 이 필드는 클러스터 풀에 등록된 Azure 구독으로 자동 채워집니다. 리소스 그룹 이 필드는 자동으로 채워지고 클러스터 풀의 리소스 그룹을 표시합니다. 지역 이 필드는 자동으로 채워지고 클러스터 풀에서 선택한 지역을 표시합니다. 클러스터 풀 이 필드는 자동으로 채워지며, 현재 클러스터가 생성되고 있는 클러스터 풀 이름을 표시합니다. 다른 풀에서 클러스터를 만들려면 포털에서 해당 클러스터 풀을 찾아 + 새 클러스터클릭합니다. AKS 풀 버전의 HDInsight 이 필드는 자동으로 채워지며, 현재 클러스터가 생성되고 있는 클러스터 풀 버전을 표시합니다. AKS 버전의 HDInsight 새 클러스터의 AKS에서 HDInsight의 부 버전 또는 패치 버전을 선택합니다. 클러스터 유형 드롭다운 목록에서 Flink를 선택합니다. 클러스터 이름 새 클러스터의 이름을 입력합니다. 사용자 할당 관리 ID 드롭다운 목록에서 클러스터와 함께 사용할 관리 ID를 선택합니다. MSI(관리 서비스 ID)의 소유자이고 MSI에 클러스터에 관리 ID 운영자 역할이 없는 경우 상자 아래 링크를 클릭하여 AKS 에이전트 풀 MSI에서 필요한 권한을 할당합니다. MSI에 이미 올바른 권한이 있는 경우 링크가 표시되지 않습니다. MSI에 필요한 다른 역할 할당에 대한 필수 구성 요소 참조하세요. 스토리지 계정 드롭다운 목록에서 Flink 클러스터와 연결할 스토리지 계정을 선택하고 컨테이너 이름을 지정합니다. 관리 ID는 클러스터를 만드는 동안 'Storage Blob 데이터 소유자' 역할을 사용하여 지정된 스토리지 계정에 대한 액세스 권한을 추가로 부여합니다. 가상 네트워크 클러스터의 가상 네트워크입니다. 서브넷 클러스터의 가상 서브넷입니다. Flink SQL에 Hive 카탈로그 사용하도록 설정합니다.
재산 묘사 Hive 카탈로그 사용 외부 Hive 메타스토어를 사용하려면 이 옵션을 사용하도록 설정합니다. Hive용 SQL Database 드롭다운 목록에서 hive-metastore 테이블을 추가할 SQL Database를 선택합니다. SQL 관리자 사용자 이름 SQL Server 관리자 사용자 이름을 입력합니다. 이 계정은 metastore에서 SQL 데이터베이스와 통신하는 데 사용됩니다. 키 저장소 드롭다운 목록에서 SQL Server 관리자 사용자 이름에 대한 암호가 포함된 비밀을 포함하는 Key Vault를 선택합니다. 클러스터를 만드는 데 사용되는 MSI에 대한 키 권한, 비밀 권한 및 인증서 권한과 같은 모든 필수 권한으로 액세스 정책을 설정해야 합니다. MSI에는 Key Vault 관리자 역할이 필요하며 IAM을 사용하여 필요한 권한을 추가합니다. SQL 암호 비밀 이름 SQL 데이터베이스 암호가 저장된 Key Vault의 비밀 이름을 입력합니다. 
메모
기본적으로 클러스터를 만드는 동안 사용되는 스토리지 계정 및 컨테이너와 동일한 Hive 카탈로그에 대한 Storage 계정 사용합니다.
다음: 구성 선택하여 계속합니다.
구성 페이지에서 다음 정보를 제공합니다.
재산 묘사 노드 크기 헤드 노드와 작업자 노드 모두 Flink 노드에 사용할 노드 크기를 선택합니다. 노드 수 Flink 클러스터의 노드 수를 선택합니다. 기본적으로 헤드 노드는 2개입니다. 작업자 노드 크기 조정은 Flink에 대한 작업 관리자 구성을 결정하는 데 도움이 됩니다. 작업 관리자 및 기록 서버는 헤드 노드에 있습니다. 서비스 구성 섹션에서 다음 정보를 제공합니다.
재산 묘사 작업 관리자 CPU 정수. 작업 관리자 CPU의 크기(코어)를 입력합니다. 작업 관리자 메모리(MB) 작업 관리자 메모리 크기를 MB로 입력합니다. 최소 1800MB 작업 관리자의 CPU 정수. 작업 관리자의 CPU 수를 코어로 입력합니다. 작업 관리자 메모리(MB) 메모리 크기를 MB로 입력합니다. 최소 1800MB 기록 서버 CPU 정수. 작업 관리자의 CPU 수를 코어로 입력합니다. 기록 서버 메모리(MB) 메모리 크기를 MB로 입력합니다. 최소 1800MB 구성 탭을 보여 주는
메모
- 기록 서버는 필요에 따라 사용/비활성화할 수 있습니다.
- 일정 기반 자동 크기 조정은 Flink에서 지원됩니다. 필요에 따라 작업자 노드 수를 예약할 수 있습니다. 예를 들어 기본 작업자 노드 수가 3인 일정 기반 자동 크기 조정을 사용하도록 설정됩니다. 또한 평일 9:00 UTC에서 20:00 UTC까지 작업자 노드는 10으로 예약됩니다. 나중에 기본값은 3개 노드(20:00 UTC에서 다음 날 09:00 UTC 사이)로 설정해야 합니다. 주말 9:00 UTC에서 20:00 UTC까지 작업자 노드는 4입니다.
자동 크기 조정 & SSH 섹션에서 다음을 업데이트합니다.
재산 묘사 자동 크기 조정 선택하면 일정 기반 자동 크기 조정을 선택하여 크기 조정 작업에 대한 일정을 구성할 수 있습니다. SSH 사용 선택 시 Secure Shell을 사용하여 Flink CLI의 액세스 지점인 필요한 총 SSH 노드 수를 선택할 수 있습니다. 허용되는 최대 SSH 노드는 5입니다. 자동 크기 조정 서비스 구성을 보여 주는
자동 크기 조정 규칙을 보여 주는
다음: 통합 단추를 클릭하여 다음 페이지로 계속 진행합니다.
통합 페이지에서 다음 정보를 제공합니다.
재산 묘사 로그 분석 이 기능은 클러스터 풀에 연결된 로그 분석 작업 영역이 있는 경우에만 사용할 수 있으며, 일단 설정되면 수집할 로그를 선택할 수 있습니다. Azure Prometheus 이 기능은 메트릭 및 로그를 Azure Monitor 작업 영역으로 전송하여 클러스터에서 직접 인사이트 및 로그를 보는 것입니다. 통합 탭을 보여 주는
다음: 태그 단추를 클릭하여 다음 페이지로 계속 진행합니다.
태그 페이지에서 다음 정보를 제공합니다.
재산 묘사 이름 선택적. AKS의 HDInsight와 같은 이름을 입력하여 클러스터 리소스와 연결된 모든 리소스를 쉽게 식별합니다. 값 이 값을 비워 둘 수 있습니다. 자원 선택한 모든 리소스를 선택합니다. 을 선택한 후, 계속하려면 검토 +을 만듭니다.
검토 + 만들기 페이지에서 페이지 맨 위에 있는 유효성 검사 성공 메시지를 찾은 다음 만들기클릭합니다.
배포가 진행 중이며 클러스터가 만들어지는 페이지가 표시됩니다. 클러스터를 만드는 데 5~10분이 걸립니다. 클러스터가 만들어지면 "배포가 완료되었습니다" 메시지가 표시됩니다. 페이지에서 벗어나면 알림에서 현재 상태를 확인할 수 있습니다.