Wat is er nieuw in HDInsight op AKS? (Preview)
Belangrijk
Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie over in deze aankondiging.
U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.
Belangrijk
Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Voor meer informatie over deze specifieke preview, zie Azure HDInsight op AKS preview-informatie. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.
In HDInsight op AKS hebben alle clusterbeheer en -bewerkingen systeemeigen ondersteuning voor servicebeheer in Azure Portal voor afzonderlijke clusters.
In HDInsight op AKS worden twee nieuwe concepten geïntroduceerd:
- clustergroepen worden gebruikt om clusters te groeperen en te beheren.
- clusters worden gebruikt voor opensource-berekeningen, worden ze gehost in een clustergroep.
Clustergroepen
HDInsight in AKS wordt uitgevoerd op Azure Kubernetes Service (AKS). De resource op het hoogste niveau is de clustergroep en beheert alle clusters die op hetzelfde AKS-cluster worden uitgevoerd. Wanneer u een clustergroep maakt, wordt er tegelijkertijd een onderliggend AKS-cluster gemaakt om alle clusters in de pool te hosten. Clustergroepen zijn een logische groepering van clusters, die helpen bij het bouwen van robuuste interoperabiliteit tussen meerdere clustertypen en waarmee ondernemingen de clusters in hetzelfde virtuele netwerk kunnen hebben. Clustergroepen bieden snelle en rendabele toegang tot alle clustertypen die op aanvraag en op schaal zijn gemaakt. Eén clustergroep komt overeen met één cluster in de AKS-infrastructuur.
Clusters
Clusters zijn afzonderlijke opensource-rekenworkloads, zoals Apache Spark, Apache Flink en Trino, die in enkele minuten snel kunnen worden gemaakt met vooraf ingestelde configuraties en weinig klikken. Hoewel elk cluster wordt uitgevoerd in dezelfde clustergroep, kan elk cluster zijn eigen configuraties hebben, zoals clustertype, versie, vm-grootte van knooppunten, aantal knooppunten. Clusters worden uitgevoerd op gescheiden rekenresources met eigen DNS en eindpunten.
Functies die momenteel in preview zijn
De volgende tabel bevat de functies van HDInsight in AKS die momenteel in preview zijn. Preview-functies worden alfabetisch gesorteerd.
| Gebied | Functies |
|---|---|
| Grondbeginselen | Pool en clusters maken met behulp van portal, SSH-ondersteuning (Web Secure Shell), mogelijkheid om het aantal werkknooppunten te kiezen tijdens het maken van het cluster |
| Opslag | ADLS Gen2 Storage--ondersteuning voor |
| Metastore | Externe metastore-ondersteuning voor Trino, Spark en Flink, integreren met HDInsight- |
| Veiligheid | Ondersteuning voor ARM RBAC, Ondersteuning voor Verificatie op Basis van MSI, Mogelijkheid om clustertoegang aan andere gebruikers te geven |
| Logboekregistratie en bewaking | Logboekaggregatie in Azure Log Analytics-, voor serverlogboeken, clustermetingen en servicemetingen via beheerde Prometheus- en Grafana-, serverondersteuning in Azure Monitor-, pagina over de status van de service voor het bewaken van de status van de service |
| Automatisch schalen | Op belasting gebaseerde automatische schaalvergrotingen op planning gebaseerde automatische schaalvergroting |
| Clusters aanpassen en configureren | Ondersteuning voor scriptacties tijdens het maken van het cluster, ondersteuning voor bibliotheekbeheer, serviceconfiguratie instellingen na het maken van het cluster |
| Trino | Ondersteuning voor Trino-catalogi, Trino CLI-ondersteuning, DBeaver ondersteuning voor het indienen van query's, het toevoegen of verwijderen van plugins en connectors, ondersteuning voor gebeurtenissen bij het loggen van query's, ondersteuning voor scanquerystatistieken voor elke connector in het Trino-dashboard, ondersteuning voor het Trino--dashboard om query's te monitoren, query-caching, integratie met Power BI, integratie met Apache Superset, Redash, en ondersteuning voor meerdere connectors. |
| Flink | Ondersteuning voor de Flink native webinterface, Flink-ondersteuning met HMS voor DStream, opdrachten verzenden naar het cluster met behulp van REST API en Azure Portal, programma's uitvoeren die zijn verpakt als JAR-bestanden via de Flink CLI, ondersteuning voor persistente Savepoints, ondersteuning voor het bijwerken van de configuratieopties tijdens het uitvoeren van de taak, verbinding maken met meerdere Azure-services: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, opdrachten verzenden naar het cluster met behulp van Flink CLI en CDC met Flink |
| Vonk | Jupyter Notebook, Ondersteuning voor Delta Lake 2.0, Ondersteuning voor Zeppelin, Ondersteuning voor ATS, Ondersteuning voor Yarn History Server Interface, Taakindiening via SSH, Taakindiening via SDK en Machine Learning Notebook |
Roadmap van functies
| Kenmerk | Geschatte releasetijdlijn | Status |
|---|---|---|
| Automatisch schalen - Op basis van belasting - Trino- | 1e kwartaal 2024 | Volbracht |
| Automatisch schalen voor Spark gebaseerd op shuffle-bewuste belasting | 2e kwartaal 2024 | Wordt uitgevoerd |
| In Place Upgrade ter plaatse | 2e kwartaal 2024 | Volbracht |
| Ondersteuning voor Reserved Instances | 2e kwartaal 2024 | Wordt uitgevoerd |
| MSI-verificatie voor Metastore (SQL) | 1e kwartaal 2024 | Wordt uitgevoerd |
| Spark 3.4 | Q2 2024 | In uitvoering |
| Trino 426 | Q1 2024 | Volbracht |
| Ranger voor RBAC | 2e kwartaal 2024 | Wordt uitgevoerd |
| ondersteuning voor de app-modus voor Flink | 1e kwartaal 2024 | Volbracht |
| Flink 1.17 | 1e kwartaal 2024 | Volbracht |
| Spark ACID-ondersteuning | 1e kwartaal 2024 | In uitvoering |
| Configureerbare SKU's voor Headnode, SSH | tweede kwartaal 2024 | Wordt uitgevoerd |
| Flink SQL Gateway-ondersteuning | 1e kwartaal 2024 | Volbracht |
| privéclusters voor HDInsight op AKS | Q1 2024 | Volbracht |
| Ranger-ondersteuning voor Spark SQL | 4e kwartaal 2024 | In uitvoering |
| Ranger-ACLs in de opslaglaag | vierde kwartaal 2024 | Wordt uitgevoerd |
| Ondersteuning voor One Lake als primaire container | K2 2024 | Wordt uitgevoerd |