Apache Spark™ 클러스터에서 Hive metastore를 사용하는 방법

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지사항 자세히 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 추가 사용 약관에는 베타 및 미리 보기 단계에 있는, 또는 일반적으로 공급되지 않은 Azure 기능에 적용되는 추가 법적 조건이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보 를 참조하세요. 질문이나 기능 제안이 있으시면, AskHDInsight에 요청을 제출해 주시고, Azure HDInsight Community에서더 많은 업데이트를 확인해 주세요.

여러 서비스에서 데이터와 메타스토어를 공유하는 것이 중요합니다. HIVE 메타스토어에서 일반적으로 사용되는 메타스토어 중 하나입니다. AKS의 HDInsight를 사용하면 사용자가 외부 메타스토어에 연결할 수 있습니다. 이 단계를 통해 HDInsight 사용자는 에코시스템의 다른 서비스에 원활하게 연결할 수 있습니다.

AKS의 Azure HDInsight는 프로덕션 클러스터에 권장되는 사용자 지정 메타 저장소를 지원합니다. 관련된 주요 단계는 다음과 같습니다.

1. Azure SQL 데이터베이스 만들기
2. 자격 증명을 저장하기 위한 키 보관소 만들기
3. Apache Spark™를 사용하여 AKS 클러스터에서 HDInsight를 생성할 때 Metastore 구성하기
4. 외부 메타스토어에서 작동합니다(데이터베이스 표시 및 선택 제한 1 수행).

클러스터를 만드는 동안 HDInsight 서비스는 외부 메타스토어에 연결하고 자격 증명을 확인해야 합니다.

Azure SQL 데이터베이스 만들기

1. HDInsight 클러스터에 대한 사용자 지정 Hive 메타스토어를 설정하기 전에 Azure SQL 데이터베이스를 이미 보유하거나 새로 생성하십시오.

   메모

   현재 HIVE 메타스토어용 Azure SQL Database만 지원합니다. Hive 제한으로 인해 메타스토어 데이터베이스 이름의 "-"(하이픈) 문자는 지원되지 않습니다.

자격 증명을 저장하기 위한 키 볼트 만들기

1. Azure Key Vault를 만듭니다.

   Key Vault의 목적은 SQL 데이터베이스를 만드는 동안 SQL Server 관리자 암호 집합을 저장할 수 있도록 하는 것입니다. AKS 플랫폼의 HDInsight는 자격 증명을 직접 처리하지 않습니다. 따라서 중요한 자격 증명을 Azure Key Vault에 저장해야 합니다. Azure Key Vault만드는 단계를 알아봅니다.

2. Azure Key Vault 생성 완료한 후에 다음 역할을 할당합니다.

   객체	역할	발언
   사용자 할당 관리 ID(HDInsight 클러스터에서 사용하는 것과 동일한 UAMI)	Key Vault 비밀 사용자	UAMI 에 역할을 할당하는 방법을 배워 봅시다.
   사용자(Azure Key Vault에서 비밀을 만드는 사용자)	Key Vault 관리자	사용자 에게역할을 할당하는 방법을 알아보세요.

   메모

   이 역할이 없으면 사용자는 비밀을 만들 수 없습니다.

3. 비밀을 만들기

   이 단계를 통해 Azure Key Vault에서 SQL Server 관리자 암호를 비밀로 유지할 수 있습니다. 암호를 추가하는 동안 "값" 필드에 암호(관리자용 SQL DB에 제공된 것과 동일한 암호)를 추가합니다.

   

   

   메모

   클러스터를 만드는 동안 필요하므로 비밀 이름을 기록해 둡니다.

HDInsight Spark 클러스터를 만드는 동안 Metastore 구성

1. AKS 클러스터 풀의 HDInsight로 이동하여 클러스터를 만듭니다.

   

2. 토글 단추를 사용하도록 설정하여 외부 하이브 메타스토어를 추가하고 다음 세부 정보를 입력합니다.

   

3. 나머지 세부 정보는 AKS HDInsight의Apache Spark 클러스터에 대한 클러스터 만들기 규칙에 따라 채워집니다.

4. 검토 및 만들기를 클릭합니다.

   검토 및 만들기 탭을 보여 주는

   메모

   • 메타스토어의 수명 주기는 클러스터 수명 주기에 연결되지 않으므로 메타데이터를 잃지 않고 클러스터를 만들고 삭제할 수 있습니다. HDInsight 클러스터를 삭제하고 다시 만든 후에도 Hive 스키마와 같은 메타데이터가 유지됩니다.
   • 사용자 지정 메타스토어를 사용하면 여러 클러스터 및 클러스터 유형을 해당 메타스토어에 연결할 수 있습니다.

외부 메타스토어에서 작동

1. 테이블 만들기

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. 테이블에 데이터 추가

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. 표 읽기

   >> spark.sql("select * from sampleTable").show()

   

참조

• Apache, Apache Spark, Spark 및 관련 오픈 소스 프로젝트 이름은 Apache Software Foundation(ASF)의 상표입니다.