AKS의 HDInsight 새로운 기능 (미리 보기)
참고 항목
2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.
사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.
Important
이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.
AKS의 HDInsight에서 모든 클러스터 관리 및 작업에는 개별 클러스터에 대한 Azure Portal의 서비스 관리를 위한 기본 지원이 있습니다.
AKS의 HDInsight에는 두 가지 새로운 개념이 도입되었습니다.
- 클러스터 풀은 클러스터를 그룹화하고 관리하는 데 사용됩니다.
- 클러스터는 오픈 소스 컴퓨팅에 사용되며 클러스터 풀 내에서 호스트됩니다.
클러스터 풀
AKS의 HDInsight는 AKS(Azure Kubernetes Service)에서 실행됩니다. 최상위 리소스는 클러스터 풀이며 동일한 AKS 클러스터에서 실행되는 모든 클러스터를 관리합니다. 클러스터 풀을 만들면 풀의 모든 클러스터를 호스트하기 위해 기본 AKS 클러스터가 동시에 만들어집니다. 클러스터 풀은 여러 클러스터 유형에서 강력한 상호 운용성을 구축하고 엔터프라이즈가 동일한 가상 네트워크에 클러스터를 가질 수 있도록 하는 클러스터의 논리적 그룹입니다. 클러스터 풀은 주문형 및 대규모로 생성된 모든 클러스터 유형에 빠르고 비용 효율적인 액세스를 제공합니다. 하나의 클러스터 풀은 AKS 인프라에서 하나의 클러스터에 해당합니다.
클러스터
클러스터는 Apache Spark, Apache Flink, Trino와 같은 개별 오픈 소스 컴퓨팅 워크로드로, 미리 설정된 구성과 몇 번의 클릭만으로 몇 분 안에 빠르게 만들 수 있습니다. 동일한 클러스터 풀에서 실행되지만 각 클러스터에는 클러스터 유형, 버전, 노드 VM 크기, 노드 수와 같은 자체 고유한 구성이 있을 수 있습니다. 클러스터는 자체 DNS 및 엔드포인트가 있는 별도의 컴퓨팅 리소스에서 실행됩니다.
현재 미리 보기로 제공되는 기능
다음 테이블 목록에서는 현재 미리 보기 상태인 AKS의 HDInsight 기능을 보여 줍니다. 미리 보기 기능은 알파벳순으로 정렬됩니다.
| 지역 | 기능 |
|---|---|
| 기본 항목 | 포털을 사용하여 풀 및 클러스터 만들기, 웹 SSH(보안 셸) 지원, 클러스터를 만드는 동안 작업자 노드 수 선택 기능 |
| 스토리지 | ADLS Gen2 Storage 지원 |
| 메타 저장소 | Trino, Spark, Flink에 대한 외부 메타스토어 지원, HDInsight와 통합 |
| 보안 | ARM RBAC 지원, MSI 기반 인증 지원, 다른 사용자에게 클러스터 액세스를 지원하는 옵션 |
| 로깅 및 모니터링 | Azure Log Analytics의 로그 집계, 서버 로그용, 관리 Prometheus 및 Grafana를 통한 클러스터 및 서비스 메트릭, 클러스터 및 서비스 메트릭, Azure Monitor의 지원 서버 메트릭, 서비스 상태 모니터링을 위한 서비스 상태 페이지 |
| 자동 크기 조정 | 로드 기반 자동 스케일링 및 일정 기반 자동 스케일링 |
| 클러스터 사용자 지정 및 구성 | 클러스터를 만드는 동안 스크립트 작업 지원, 라이브러리 관리 지원, 클러스터를 만든 후 서비스 구성 설정 |
| Trino | Trino 카탈로그 지원, Trino CLI 지원, 쿼리 제출을 위한 DBeaver 지원, 플러그 인 및 커넥터 추가 또는 제거, 쿼리 로깅 이벤트 지원, Trino 대시보드의 모든 커넥터에 대한 검사 쿼리 통계 지원, 쿼리 모니터링을 위한 Trino 대시보드 지원, 쿼리 캐싱, Power BI와의 통합, Apache Superset과의 통합, Redash, 다중 커넥터 지원 |
| Flink | Flink 기본 웹 UI 지원, DStream용 HMS를 통한 Flink 지원, REST API 및 Azure Portal을 사용하여 클러스터에 작업 제출, Flink CLI를 통해 JAR 파일로 패키지된 프로그램 실행, 영구 저장점 지원, 작업이 실행 중일 때 구성 옵션 업데이트 지원, 여러 Azure 서비스에 연결: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory 워크플로 오케스트레이션 매니저, HDInsight Kafka, Flink CLI, Flink를 통한 CDC를 사용하여 클러스터에 작업 제출 |
| Spark | Jupyter Notebook, Delta lake 2.0 지원, Zeppelin 지원, ATS 지원, Yarn History 서버 인터페이스 지원, SSH를 사용한 작업 제출, SDK 및 Machine Learning Notebook을 사용하여 작업 제출 |
기능 로드맵
| 기능 | 예상 릴리스 타임라인 | 상태 |
|---|---|---|
| 자동 스케일링 - 로드 기반 - Trino | Q1 2024 | Completed |
| Spark용 셔플 인식 로드 기반 자동 스케일링 | Q2 2024 | 진행 중 |
| 현재 위치 업그레이드 | Q2 2024 | Completed |
| 예약 인스턴스 지원 | Q2 2024 | 진행 중 |
| 메타스토어의 MSI 기반 인증(SQL) | Q1 2024 | 진행 중 |
| Spark 3.4 | Q2 2024 | 진행 중 |
| Trino 426 | Q1 2024 | Completed |
| RBAC용 Ranger | Q2 2024 | 진행 중 |
| Flink의 앱 모드 지원 | Q1 2024 | Completed |
| Flink 1.17 | Q1 2024 | Completed |
| Spark ACID 지원 | Q1 2024 | 진행 중 |
| 헤드 노드, SSH의 구성 가능한 SKU | Q2 2024 | 진행 중 |
| Flink SQL Gateway 지원 | Q1 2024 | Completed |
| HDInsight on AKS의 프라이빗 클러스터 | Q1 2024 | Completed |
| Spark SQL의 Ranger 지원 | 2024년 4분기 | 진행 중 |
| 스토리지 계층의 Ranger ACL | 2024년 4분기 | 진행 중 |
| One Lake를 기본 컨테이너로 지원 | Q2 2024 | 진행 중 |