HDInsight on AKS란? (미리 보기)

아티클
09/20/2024

참고 항목

2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.

사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

HDInsight on AKS는 AKS(Azure Kubernetes Service)에서 실행되는 안정적이고 안전하며 완전히 관리되는 최신 PaaS(Platform as a Service)입니다. HDInsight on AKS를 사용하면 컨테이너를 관리하고 모니터링하는 오버헤드 없이 Apache Spark™, Apache Flink®️ 및 Trino와 같은 인기 있는 오픈 소스 분석 워크로드를 배포할 수 있습니다.

Apache Flink를 통한 스트리밍, Apache Spark 및 Trino의 강력한 쿼리 엔진을 사용하여 데이터 엔지니어링 및 기계 학습을 통해 스트리밍에 걸쳐 엔드 투 엔드 페타바이트 규모의 빅 데이터 애플리케이션을 빌드할 수 있습니다.

개발자에 큰 중점을 둔 HDInsight on AKS와 결합된 이러한 모든 기능을 통해, 심층적인 기술 전문 지식을 갖춘 엔터프라이즈 및 디지털 네이티브는 요구에 적합한 애플리케이션을 빌드하고 운영할 수 있습니다. HDInsight on AKS를 사용하면 개발자가 오픈 소스 소프트웨어에서 제공하는 모든 풍부한 구성에 액세스할 수 있으며 확장성을 통해 다른 에코시스템 제품을 원활하게 포함할 수 있습니다. 이 제품을 통해 개발자는 애플리케이션을 테스트하고 조정하여 최적의 비용으로 최상의 성능을 추출할 수 있습니다.

HDInsight on AKS는 전체 Azure 에코시스템과 통합되어 구현 주기를 단축하고 가치를 실현하는 시간을 개선합니다.

기술 아키텍처

HDInsight on AKS는 데이터 레이크하우스의 전체 가치를 실현할 수 있는 클러스터 풀 및 클러스터의 개념을 소개합니다. 클러스터 풀을 사용하면 단일 데이터 레이크에서 여러 컴퓨팅 워크로드를 사용할 수 있으므로 네트워크 관리 및 리소스 계획의 오버헤드를 제거할 수 있습니다.

클러스터 풀은 여러 클러스터 유형에서 강력한 상호 운용성을 구축하고 엔터프라이즈가 동일한 가상 네트워크에 클러스터를 가질 수 있도록 하는 클러스터의 논리적 그룹입니다. 클러스터 풀은 주문형 및 대규모로 생성된 모든 클러스터 유형에 빠르고 비용 효율적인 액세스를 제공합니다. 하나의 클러스터 풀은 AKS 인프라의 한 클러스터에 해당합니다.
클러스터는 Apache Spark, Apache Flink, Trino와 같은 개별 컴퓨팅 워크로드로, 미리 설정된 구성으로 몇 분 안에 빠르게 만들 수 있습니다.

필요에 따라 단일 클러스터 또는 클러스터 유형의 조합으로 풀을 만들 수 있으며 사용자 지정으로 다음 옵션을 구성할 수 있습니다.

스토리지
네트워크
로깅
모니터링

다음 다이어그램에서는 기본 클러스터 풀에 설치된 구성 요소의 논리적 기술 아키텍처를 보여줍니다. 클러스터는 AKS 클러스터의 네임스페이스를 사용하여 격리됩니다.

현대화된 클라우드 네이티브 컴퓨팅 플랫폼

최신 버전의 HDInsight는 AKS를 사용하여 오케스트레이션되어 플랫폼을 더욱 견고하게 만들고 사용자가 클러스터를 효과적으로 처리할 수 있도록 합니다. HDInsight on AKS에서 클러스터를 프로비전하는 것은 빠르고 안정적이므로 클러스터를 쉽게 관리하고 현재 위치 업그레이드를 수행할 수 있습니다. 방대한 SKU 선택 사항과 유연한 구독 모델을 통해 HDInsight on AKS에서 오픈 소스, 클라우드 네이티브 및 확장 가능한 인프라를 사용하여 데이터 레이크하우스를 현대화하면 모든 분석 요구 사항을 충족할 수 있습니다.

클라우드 네이티브 컴퓨팅 플랫폼에서 현대화되는 HDInsight on AKS를 보여 주는 다이어그램.

주요 기능은 다음과 같습니다.

빠른 클러스터 만들기 및 크기 조정.
유지 관리 및 주기적인 보안 업데이트의 용이성.
최신 클라우드 네이티브 AKS를 통해 구동되는 클러스터 복원력.
OAuth 및 Microsoft Entra ID를 사용한 최신 인증에 대한 네이티브 지원.
Azure Services - ADF(Azure Data Factory), Power BI, Azure Monitor와의 긴밀한 통합.

HDInsight에 연결

HDInsight on AKS는 HDInsight와 원활하게 연결할 수 있습니다. 하이브리드 모델에서 필요한 클러스터 유형을 사용하면 이점을 얻을 수 있습니다. 두 제품에서 동일한 스토리지 및 메타스토어를 사용하여 HDInsight의 클러스터 유형과 상호 운용합니다.

HDInsight는 PaaS(Platform as a Service) 폼 팩터에서 Apache Kafka®, Apache HBase® 및 기타 분석 워크로드를 제공합니다.

연결 개념을 보여 주는 다이어그램.

다음과 같은 시나리오가 지원됩니다.

Apache HBase에 연결하는 Apache Flink
Apache Kafka에 연결하는 Apache Flink
Apache HBase에 연결하는 Apache Spark
Apache Kafka에 연결하는 Apache Spark

보안 아키텍처

HDInsight on AKS는 기본적으로 안전합니다. 이를 통해 기업은 Azure Virtual Network, 암호화 및 Microsoft Entra ID와의 통합을 통해 엔터프라이즈 데이터 자산을 보호할 수 있습니다. 또한 가장 널리 사용되는 업계 및 정부 규격 표준을 충족하여 Azure 표준을 지킵니다. 정기적인 업데이트, 상태 관리자 알림, 서비스 상태 분석, 동급 최고의 Azure 보안 표준과 함께 데이터를 보호하는 데 도움이 되는 30개 이상의 인증을 제공합니다. HDInsight on AKS는 기본적으로 엔터프라이즈 보안 요구 사항을 해결하는 몇 가지 방법을 제공합니다. 자세한 내용은 HDInsight on AKS 보안을 참조하세요.

보안 개념을 보여 주는 다이어그램.

지역 가용성(공개 미리 보기)

아시아 태평양

오스트레일리아 동부
인도 중부
동아시아
일본 동부
한국 중부
동남 아시아

유럽

프랑스 중부
북유럽
노르웨이 동부
스위스 북부
영국 남부
서유럽

아메리카

브라질 남부
캐나다 중부
미국 중부
미국 동부
미국 동부 2
미국 동부 2 EUAP
미국 중남부
미국 서부
미국 서부 2
미국 서부 3