AKS의 HDInsight의 새로운 기능 (미리 보기)
중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 을 통해에 대해 더 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure의 베타, 사전 보기 또는 아직 일반 공급으로 릴리스되지 않은 기능에 적용되는 추가적인 법적 조건이 포함된 추가 사용 약관이 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보 를 참조하세요. 질문 또는 기능 제안에 대한 자세한 내용은 AskHDInsight 대한 요청을 제출하고 Azure HDInsight Community 대한 자세한 업데이트를.
AKS의 HDInsight에서는 모든 클러스터 관리 및 작업이 개별 클러스터에 대해 Azure 포털에서 서비스 관리를 기본적으로 지원합니다.
AKS의 HDInsight에서는 두 가지 새로운 개념이 도입되었습니다.
- 클러스터 풀 클러스터를 그룹화하고 관리하는 데 사용됩니다.
- 클러스터 오픈 소스 컴퓨팅에 사용되며 클러스터 풀 내에서 호스트됩니다.
클러스터 풀
AKS의 HDInsight는 AKS(Azure Kubernetes Service)에서 실행됩니다. 최상위 리소스는 클러스터 풀이며 동일한 AKS 클러스터에서 실행되는 모든 클러스터를 관리합니다. 클러스터 풀을 만들 때 풀의 모든 클러스터를 호스트하기 위해 기본 AKS 클러스터가 동시에 만들어집니다. 클러스터 풀은 여러 클러스터 유형에서 강력한 상호 운용성을 구축하고 엔터프라이즈가 동일한 가상 네트워크에 클러스터를 포함할 수 있도록 하는 클러스터의 논리적 그룹입니다. 클러스터 풀은 주문형 및 대규모로 생성된 모든 클러스터 유형에 빠르고 비용 효율적인 액세스를 제공합니다. 하나의 클러스터 풀은 AKS 인프라의 한 클러스터에 해당합니다.
클러스터
클러스터는 Apache Spark, Apache Flink 및 Trino와 같은 개별 오픈 소스 컴퓨팅 워크로드로, 몇 분 안에 미리 설정된 구성과 몇 번의 클릭으로 빠르게 만들 수 있습니다. 동일한 클러스터 풀에서 실행되지만 각 클러스터에는 클러스터 유형, 버전, 노드 VM 크기, 노드 수와 같은 자체 구성이 있을 수 있습니다. 클러스터는 자체 DNS 및 엔드포인트가 있는 분리된 컴퓨팅 리소스에서 실행됩니다.
현재 미리 보기로 제공되는 기능
다음 표 목록에서는 현재 미리 보기로 제공되는 AKS의 HDInsight 기능을 보여 줍니다. 미리 보기 기능은 사전순으로 정렬됩니다.
| 지역 | 기능 |
|---|---|
| 기본 | 포털, 웹 보안 셸(ssh) 지원, 클러스터를 만드는 동안 작업자 노드 수를 선택하는 기능을 사용하여 풀 및 클러스터 만들기 |
| 보관 | ADLS Gen2 Storage 지원 |
| 메타스토어 | Trino, Spark 및 Flink에 대한 외부 Metastore 지원, HDInsight와의 통합 |
| 안전 | ARM RBAC 지원, MSI 기반 인증 지원, 다른 사용자에게 클러스터 액세스 제공하는 옵션 |
| 로깅 및 모니터링 | Azure 로그 집계는 로그 분석에서는 서버 로그, 클러스터 및 서비스 메트릭을 Managed Prometheus 및 Grafana를 통해 처리하며, Azure Monitor에서의 서버 메트릭 지원을 포함합니다. 서비스 상태를 모니터링하기 위해 서비스 상태 페이지를 제공합니다. |
| 자동 크기 조정 | 부하 기반 자동 크기 조정및 일정 기반 자동 크기 조정 |
| 클러스터 사용자 지정 및 구성 | 클러스터를 만드는 동안 스크립트 작업 지원, 라이브러리 관리지원, 클러스터 생성 후 서비스 구성 설정 |
| 트리노 () | Trino 카탈로그, Trino CLI 지원, DBeaver에서 쿼리 제출 지원, 플러그인 및 커넥터추가 또는 제거, 쿼리 로깅 이벤트 지원, Trino 대시보드의 커넥터에 대한 스캔 쿼리 통계 지원, 쿼리 모니터링을 위한 Trino 대시보드 지원, 쿼리 캐싱, Power BI와의 통합, Apache Superset와 통합, Redash와의 통합, 여러 커넥터 지원 |
| Flink | Flink 네이티브 웹 UI 지원, DStream에 대한 HMS를 사용하는 Flink 지원, REST API 및 Azure Portal를 사용하여 클러스터에 작업 제출, Flink CLI를 통해 JAR 파일로 패키지된 프로그램 실행, 영구 저장점 지원, 작업 실행 중에 구성 옵션 업데이트 지원, 여러 Azure 서비스에 연결: Azure Cosmos DB , Azure Databricks , Azure Data Explorer , Azure Event Hubs , Azure IoT Hub , Azure Pipelines , Azure Data Factory 워크플로 오케스트레이션 관리자 , HDInsight Kafka , Flink CLI를 사용하여 클러스터에 작업 제출 및 Flink를 사용하여 CDC . |
| 스파크 | Jupyter Notebook, Delta Lake 2.0 지원, Zeppelin 지원, ATS 지원, Yarn 기록 서버 인터페이스 지원, SSH를 사용한 작업 제출, SDK를 사용한 작업 제출 및 Machine Learning Notebook |
기능 로드맵
| 특징 | 예상 릴리스 타임라인 | 상태 |
|---|---|---|
| 자동 크기 조정 - 부하 기반 - Trino | 2024년 1분기 | 완료 |
| Spark에 대한 셔플 인식 부하 기반 자동 스케일링 | 2024년 2분기 | 진행 중 |
| 제자리 업그레이드 | 2024년 2분기 | 완료 |
| 예약 인스턴스 지원 | 2024년 2분기 | 진행 중 |
| METAstore에 대한 MSI 기반 인증(SQL) | 2024년 1분기 | 진행 중 |
| Spark 3.4 | 2024년 2분기 | 진행 중 |
| 트리노 426 | 2024년 1분기 | 완료 |
| RBAC용 Ranger | 2024년 2분기 | 진행 중 |
| Flink에 대한 앱 모드 지원 | 2024년 1분기 | 완료 |
| Flink 1.17 | 2024년 1분기 | 완료 |
| Spark ACID 지원 | 2024년 1분기 | 진행 중 |
| 헤드 노드, SSH에 대한 구성 가능한 SKU | 2024년 2분기 | 진행 중 |
| Flink SQL Gateway 지원 | 2024년 1분기 | 완료 |
| AKS HDInsight용 프라이빗 클러스터 | 2024년 1분기 | 완료 |
| Spark SQL에 대한 Ranger 지원 | 2024년 4분기 | 진행 중 |
| 스토리지 계층의 Ranger 액세스 제어 목록 | 2024년 4분기 | 진행 중 |
| One Lake를 기본 컨테이너로 지원 | 2024년 2분기 | 진행 중 |