리소스 필수 구성 요소

아티클
09/20/2024

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 발표 을(를) 이 공지에서 더 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 프리뷰에 대한 추가 사용 약관에는 베타, 프리뷰 또는 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 법적 조건이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보 를 참조하세요. 질문 또는 기능 제안에 대한 자세한 내용은 AskHDInsight 대한 요청을 제출하고 Azure HDInsight Community 대한 자세한 업데이트를.

이 문서에서는 AKS에서 HDInsight를 시작하는 데 필요한 리소스를 자세히 설명합니다. 필요한 리소스와 선택적 리소스 및 리소스를 만드는 방법을 다룹니다.

필요한 리소스

다음 표에서는 클러스터 유형에 따라 클러스터를 만드는 데 필요한 리소스를 보여 줍니다.

업무량	MSI(관리 서비스 ID)	보관	SQL Server - SQL Database	Key Vault (키 볼트)
트리노 ()	✅
플링크	✅	✅
스파크	✅	✅
HMS(Hive Metastore)를 사용하는 Trino, Flink 또는 Spark	✅	✅	✅	✅

메모

MSI는 SQL Database를 제외한 여러 리소스에서 인증 및 권한 부여를 위한 보안 표준으로 사용됩니다. 역할 할당은 MSI를 스토리지에 권한을 부여하기 위해 배포하기 전에 발생하며 비밀은 SQL Database용 Key Vault에 저장됩니다. 스토리지 지원은 ADLS Gen2와 함께 사용되며 컴퓨팅 엔진의 데이터 저장소로 사용되며, SQL Database는 Hive Metastore의 테이블 관리에 사용됩니다.

선택적 리소스

VNet(Virtual Network) 및 서브넷: 가상 네트워크 만들기
Log Analytics 작업 영역: Log Analytics 작업 영역 만들기

메모

VNet에는 연결된 기존 경로 테이블이 없는 서브넷이 필요합니다.
AKS의 HDInsight를 사용하면 고유한 VNet 및 서브넷을 가져올 수 있으므로 네트워크 요구 사항을 엔터프라이즈의 요구에 맞게 사용자 지정할 수 있습니다.
Log Analytics 작업 영역은 선택 사항이며 Azure Log Analytics 같은 Azure Monitor 기능을 사용하려는 경우에 대비하여 미리 만들어야 합니다.

다음 두 가지 방법으로 필요한 리소스를 만들 수 있습니다.

즉시 사용할 수 있는 ARM 템플릿
Azure 포털 사용

ARM 템플릿 사용

다음 ARM 템플릿을 사용하면 리소스 접두사 및 필요에 따라 자세한 정보를 사용하여 한 번의 클릭으로 지정된 필요한 리소스를 만들 수 있습니다.

예를 들어 리소스 접두사를 "데모"로 제공하는 경우 선택한 템플릿에 따라 리소스 그룹에 다음 리소스가 만들어집니다.

MSI는 이름이 demoMSI으로 만들어집니다.
스토리지는 democontainer컨테이너와 함께 demostore 이름으로 만들어집니다.
키 자격증명 저장소가 템플릿에서 매개변수로 제공된 비밀과 함께 demoKeyVault이라는 이름으로 생성됩니다.
Azure SQL 데이터베이스가 demoSqlDB이라는 이름으로, SQL 서버가 demoSqlServer이라는 이름으로 생성됩니다.

업무량	필수 구성 요소
트리노 ()	다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자가 할당한 관리 ID입니다.
Flink	다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자가 할당한 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너. 역할 할당: 1. 스토리지 계정에 사용자 지정 MSI에 "Storage Blob 데이터 소유자" 역할을 할당합니다.
스파크	다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자가 할당한 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너. 역할 할당: 1. 스토리지 계정의 사용자 할당 MSI에 "Storage Blob 데이터 소유자" 역할을 할당합니다.
HMS(Hive Metastore)를 사용하는 Trino, Flink 또는 Spark	다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자가 할당한 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너. 3. Azure SQL Server 및 SQL Database. 4. Azure Key Vault 및 SQL Server 관리자 자격 증명을 저장하는 비밀입니다. 역할 할당: 1. 스토리지 계정의 사용자 할당 MSI에 "Storage Blob 데이터 소유자" 역할을 할당합니다. 2. Key Vault의 사용자 할당 MSI에 "Key Vault 비밀 사용자" 역할을 할당합니다. Trino HMS를

메모

이러한 ARM 템플릿을 사용하려면 사용자가 새 리소스를 만들고 구독의 리소스에 역할을 할당할 수 있는 권한이 있어야 합니다.

Azure Portal 사용

MSI(사용자 할당 관리 ID) 만들기

관리 ID는 Azure에서 자격 증명을 관리하는 Microsoft Entra ID (Microsoft Entra ID)에 등록된 ID입니다. 관리 ID를 사용하면 인증서와 같은 자격 증명을 유지하기 위해 Microsoft Entra ID에 서비스 주체를 등록할 필요가 없습니다.

AKS의 HDInsight는 여러 구성 요소 간의 통신을 위해 사용자 할당 MSI를 사용합니다.

스토리지 계정 만들기 – ADLS Gen 2

스토리지 계정은 클러스터 로그 및 기타 출력의 기본 위치로 사용됩니다. 스토리지 계정을 만드는 동안 계층 구조 네임스페이스를 사용하도록 설정하여 ADLS Gen2 스토리지로 사용합니다.

역할할당: 이 스토리지 계정에 만든 사용자 할당 MSI에 "Storage Blob 데이터 소유자" 역할을 할당합니다.
컨테이너만들기: 스토리지 계정을 만든 후 스토리지 계정에 컨테이너를 만듭니다.

메모

클러스터를 만드는 동안 컨테이너를 만드는 옵션도 사용할 수 있습니다.

Azure SQL Database 만들기

클러스터를 만드는 동안 외부 메타스토어로 사용할 Azure SQL Database를 만들거나 기존 SQL Database를 사용할 수 있습니다. 그러나 다음 속성이 설정되어 있는지 확인합니다.

SQL Server 및 SQL Database- 사용하도록 설정하는 데 필요한 속성

리소스 종류	재산	묘사
SQL Server	인증 방법	SQL Server를 만드는 동안 다음과 같이 "인증 방법"을 사용합니다.
SQL 데이터베이스	Azure 서비스 및 리소스가 이 서버에 액세스하도록 허용	Azure Portal의 SQL 데이터베이스에 있는 네트워킹 블레이드에서 이 속성을 사용하도록 설정합니다.

메모

현재는 Azure SQL Database만 기본 메타스토어로 지원합니다.
Hive 제한으로 인해 메타스토어 데이터베이스 이름의 "-"(하이픈) 문자는 지원되지 않습니다.
Azure SQL Database는 클러스터와 동일한 지역에 있어야 합니다.
클러스터를 만드는 동안 SQL Database를 만드는 옵션도 사용할 수 있습니다. 그러나 새로 만든 데이터베이스가 드롭다운 목록에 표시되도록 클러스터 만들기 페이지를 새로 고쳐야 합니다.

Azure Key Vault 만들기

Key Vault를 사용하면 SQL Database를 만드는 동안 SQL Server 관리자 암호 집합을 저장할 수 있습니다. AKS 플랫폼의 HDInsight는 자격 증명을 직접 처리하지 않습니다. 따라서 중요한 자격 증명을 Key Vault에 저장해야 합니다.

역할할당: 이 Key Vault에 필요한 리소스의 일부로 생성된 사용자 할당 관리 식별자(MSI)에 "Key Vault 비밀 사용자" 역할을 할당합니다.
비밀만들기: 이 단계를 통해 AZURE Key Vault에서 SQL Server 관리자 암호를 비밀로 유지할 수 있습니다. 비밀을 만드는 동안 "값" 필드에 암호를 추가합니다.

메모

클러스터를 만드는 동안 필요하므로 비밀 이름을 기록해 둡니다.
Azure Portal을 사용하여 Key Vault에 비밀을 추가하려면 ID 또는 계정에 할당된 "Key Vault 관리자" 역할이 있어야 합니다. Key Vault로 이동하여 역할 할당하는 방법을단계를 따릅니다.

다음을 통해 공유