클러스터 스토리지 소개

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 을 통해에 대해 자세히 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 프리뷰에 대한 추가 사용 약관에는 베타, 프리뷰 또는 아직 일반 공급이 되지 않은 Azure 기능에 적용되는 더 많은 법적 조건이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보 을 참조하세요. 질문이나 기능 제안이 있을 경우, 자세한 내용을 AskHDInsight에 요청으로 제출해 주시고, 최신 업데이트를 받기 위해 Azure HDInsight Community를 팔로우해 주세요.

AKS의 Azure HDInsight는 다른 많은 Azure 서비스와 잘 작동하는 범용 스토리지 솔루션인 Azure Storage와 원활하게 통합할 수 있습니다. ADLS Gen2(Azure Data Lake Storage Gen2)는 클러스터의 기본 파일 시스템입니다.

스토리지 계정은 클러스터 작업 중에 생성된 데이터, 클러스터 로그 및 기타 출력의 기본 위치로 사용할 수 있습니다. 클러스터 유형에 따라 Hive 카탈로그의 기본 스토리지일 수도 있습니다.

자세한 내용은 Azure Data Lake Storage Gen2소개를 참조하세요.

보안 파일 액세스를 위한 관리 ID

AKS의 Azure HDInsight는 MSI(관리 ID)를 사용하여 Azure Data Lake Storage Gen2의 파일에 대한 클러스터 액세스를 보호합니다. 관리 ID는 Azure 서비스에 자동으로 관리되는 자격 증명 집합을 제공하는 Microsoft Entra ID의 기능입니다. 이러한 자격 증명을 사용하여 Active Directory 인증을 지원하는 모든 서비스에 인증할 수 있습니다. 또한 관리 ID는 코드 또는 구성 파일에 자격 증명을 저장할 필요가 없습니다.

AKS의 Azure HDInsight에서 클러스터를 만드는 동안 관리 ID 및 스토리지를 선택하면 Storage Blob 데이터 소유자 역할이 사용자 할당 MSI에 할당된 경우 관리 ID가 데이터 관리를 위해 스토리지와 원활하게 작동할 수 있습니다.

다음 표에서는 AKS(공개 미리 보기)에서 Azure HDInsight에 대해 지원되는 스토리지 옵션을 간략하게 설명합니다.

클러스터 유형	지원되는 스토리지	연결	스토리지의 역할
Trino, Apache Flink 및 Apache Spark	ADLS Gen2	MSI(클러스터 사용자 할당 관리 ID)	사용자 할당 MSI는 스토리지 계정에 Storage Blob 데이터 소유자 역할이 있어야 합니다.

메모

여러 클러스터에서 스토리지 계정을 공유하려면 공유 스토리지 계정에 해당 클러스터 사용자 할당 MSI "Storage Blob 데이터 소유자"를 할당하기만 하면 됩니다. 역할을 할당하는 방법을 알아봅니다.

그런 다음 전체 스토리지 abfs:// 경로를 사용하여 애플리케이션을 통해 데이터에 액세스할 수 있습니다.

자세한 내용은 Azure 리소스에 대한관리 ID를 참조하세요.
ADLS Gen2 계정을만드는 방법을 알아봅니다.

AKS 스토리지 아키텍처의 Azure HDInsight

다음 다이어그램은 Azure Storage의 AKS 아키텍처에서 Azure HDInsight에 대한 추상 보기를 제공합니다.

스토리지 관리

현재 AKS의 Azure HDInsight는 일시 삭제를 사용하도록 설정된 스토리지 계정을 지원하지 않습니다. 스토리지 계정에 대해 일시 삭제를 사용하지 않도록 설정해야 합니다.