리소스 필수 구성 요소
참고 항목
2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.
사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.
Important
이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.
이 문서에서는 HDInsight on AKS를 시작하는 데 필요한 리소스를 자세히 설명합니다. 필수 및 선택적 리소스와 리소스를 만드는 방법을 다룹니다.
필수 리소스
다음 표에서는 클러스터 유형에 따라 클러스터를 만드는 데 필요한 필수 리소스를 보여줍니다.
| 작업 부하 | MSI(관리 서비스 ID) | 스토리지 | SQL Server - SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| HMS(Hive 메타스토어)를 사용하는 Trino, Flink 또는 Spark | ✅ | ✅ | ✅ | ✅ |
참고 항목
MSI는 SQL Database를 제외한 여러 리소스에서 인증 및 권한 부여를 위한 보안 표준으로 사용됩니다. 역할 할당은 MSI에 스토리지 권한을 부여하기 위해 배포 전에 발생하며 비밀은 SQL Database용 키 자격 증명 모음에 저장됩니다. 스토리지 지원은 ADLS Gen2를 사용하고 컴퓨팅 엔진의 데이터 저장소로 사용되며, SQL Database는 Hive 메타스토어의 테이블 관리에 사용됩니다.
선택적 리소스
- VNet(가상 네트워크) 및 서브넷: 가상 네트워크 만들기
- Log Analytics 작업 영역: Log Analytics 작업 영역 만들기
참고 항목
- VNet에는 연결된 기존 경로 테이블이 없는 서브넷이 필요합니다.
- HDInsight on AKS를 사용하면 고유한 VNet 및 서브넷을 가져올 수 있으므로 기업의 필요에 맞게 네트워크 요구 사항을 사용자 지정할 수 있습니다.
- Log Analytics 작업 영역은 선택 사항이며 Azure Log Analytics와 같은 Azure Monitor 기능을 사용하려는 경우에 대비하여 미리 만들어야 합니다.
다음 두 가지 방법으로 필수 리소스를 만들 수 있습니다.
ARM 템플릿 사용
다음 ARM 템플릿을 사용하면 리소스 접두사 및 필요에 따라 자세한 정보를 사용하여 한 번의 클릭으로 지정된 필수 리소스를 만들 수 있습니다.
예를 들어 리소스 접두사로 “demo”를 제공하는 경우 선택한 템플릿에 따라 리소스 그룹에 다음 리소스가 만들어집니다.
- MSI는
demoMSI라는 이름으로 만들어집니다. - 스토리지는
democontainer라는 컨테이너와 함께demostore라는 이름으로 만들어집니다. - 키 자격 증명 모음은 템플릿에서 매개 변수로 제공된 비밀과 함께
demoKeyVault라는 이름으로 만들어집니다. - Azure SQL 데이터베이스는
demoSqlServer라는 SQL Server와 함께demoSqlDB라는 이름으로 만들어집니다.
| 작업 부하 | 필수 조건 |
|---|---|
| Trino | 다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자 할당 관리 ID입니다. |
| Flink | 다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자 할당 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너 역할 할당: 1. 스토리지 계정의 사용자 할당 MSI에 “스토리지 BLOB 데이터 소유자” 역할을 할당합니다. |
| Spark | 다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자 할당 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너 역할 할당: 1. 스토리지 계정의 사용자 할당 MSI에 “스토리지 BLOB 데이터 소유자” 역할을 할당합니다. |
| HMS(Hive 메타스토어)를 사용하는 Trino, Flink 또는 Spark | 다음과 같이 언급된 리소스를 만듭니다. 1. MSI(관리 서비스 ID): 사용자 할당 관리 ID입니다. 2. ADLS Gen2 스토리지 계정 및 컨테이너 3. Azure SQL Server 및 SQL 데이터베이스. 4. Azure Key Vault 및 SQL Server 관리자 자격 증명을 저장할 비밀 역할 할당: 1. 스토리지 계정의 사용자 할당 MSI에 “스토리지 BLOB 데이터 소유자” 역할을 할당합니다. 2. Key Vault의 “사용자 할당 MSI”에 “Key Vault 비밀 사용자” 역할을 할당합니다. |
참고 항목
이러한 ARM 템플릿을 사용하려면 사용자가 새 리소스를 만들고 구독의 리소스에 역할을 할당할 수 있는 권한이 있어야 합니다.
Azure Portal 사용
사용자 할당 관리 ID(MSI) 만들기
관리 ID는 Azure에서 관리하는 자격 증명이 있는 Microsoft Entra ID(Microsoft Entra ID)에 등록된 ID입니다. 관리 ID를 사용하면 인증서와 같은 자격 증명을 유지하기 위해 Microsoft Entra ID에 서비스 주체를 등록할 필요가 없습니다.
HDInsight on AKS는 여러 구성 요소 간의 통신을 위해 사용자 할당 MSI를 사용합니다.
스토리지 계정 만들기 – ADLS Gen 2
스토리지 계정은 클러스터 로그 및 기타 출력의 기본 위치로 사용됩니다. 스토리지 계정을 만드는 동안 계층 구조 네임스페이스를 사용하도록 설정하여 ADLS Gen2 스토리지로 사용합니다.
역할 할당: 이 스토리지 계정에 만든 사용자 할당 MSI에 “스토리지 BLOB 데이터 소유자” 역할을 할당합니다.
컨테이너 만들기: 스토리지 계정을 만든 후 스토리지 계정에 컨테이너를 만듭니다.
참고 항목
클러스터를 만드는 동안 컨테이너를 만드는 옵션도 있습니다.
Azure SQL Database 만들기
클러스터를 만드는 동안 외부 메타스토어로 사용할 Azure SQL Database를 만들거나 기존 SQL Database를 사용할 수 있습니다. 그러나 다음 속성이 설정되어 있어야 합니다.
SQL Server 및 SQL Database를 사용하도록 설정하는 데 필요한 속성-
| 리소스 종류 | 속성 | 설명 |
|---|---|---|
| SQL Server | 인증 방법 | SQL Server를 만드는 동안 다음과 같이 "인증 방법"을 사용합니다. 
|
| SQL 데이터베이스 | Azure 서비스 및 리소스에서 이 서버에 액세스할 수 있도록 허용 | Azure Portal에서 SQL 데이터베이스의 네트워킹 블레이드 아래에서 이 속성을 사용하도록 설정합니다. |
참고 항목
- 현재는 Azure SQL Database만 기본 제공 메타스토어로 지원합니다.
- Hive 제한으로 인해 메타스토어 데이터베이스 이름에 “-”(하이픈) 문자는 지원되지 않습니다.
- Azure SQL Database는 클러스터와 동일한 지역에 있어야 합니다.
- 클러스터를 만드는 동안 SQL Database를 만드는 옵션도 있습니다. 그러나 새로 만든 데이터베이스가 드롭다운 목록에 표시되도록 클러스터 만들기 페이지를 새로 고쳐야 합니다.
Azure Key Vault 만들기
Key Vault를 사용하면 SQL Database를 만드는 동안 SQL Server 관리자 암호 집합을 저장할 수 있습니다. AKS 플랫폼의 HDInsight는 자격 증명을 직접 처리하지 않습니다. 따라서 중요한 자격 증명을 Key Vault에 저장해야 합니다.
역할 할당: 이 Key Vault에 필요한 리소스의 일부로 만든 사용자 할당 MSI에 “Key Vault 비밀 사용자” 역할을 할당합니다.
비밀 만들기: 이 단계를 통해 Azure Key Vault에서 SQL Server 관리자 암호를 비밀로 유지할 수 있습니다. 비밀을 만드는 동안 “값” 필드에 암호를 추가합니다.
참고 항목
- 클러스터를 만드는 동안 필요하므로 비밀 이름을 기록해 둡니다.
- Azure Portal을 사용하여 Key Vault에 비밀을 추가하려면 ID 또는 계정에 “Key Vault 관리자” 역할이 할당되어 있어야 합니다. Key Vault로 이동하여 역할 할당 방법의 단계를 따릅니다.