Novità di HDInsight su AKS? (Anteprima)
Importante
Azure HDInsight su AKS è stato ritirato il 31 gennaio 2025. Scopri di più con questo annuncio.
È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.
Importante
Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire microsoft per altri aggiornamenti su community di Azure HDInsight.
In HDInsight su AKS, tutte le operazioni e la gestione dei cluster dispongono del supporto nativo per la gestione dei servizi nel portale di Azure per i cluster individuali.
In HDInsight su Azure Kubernetes Service (AKS) sono stati introdotti due nuovi concetti:
- Pool di Cluster vengono usati per raggruppare e gestire i cluster.
- i cluster vengono usati per i calcoli open source, sono ospitati all'interno di un pool di cluster.
Pool di cluster
HDInsight su AKS viene eseguito su Azure Kubernetes Service (AKS). La risorsa di primo livello è il Cluster Pool e gestisce tutti i cluster in esecuzione nello stesso cluster AKS. Quando si crea un pool di cluster, contemporaneamente viene creato un cluster AKS sottostante per ospitare tutti i cluster nel pool. I pool di cluster sono un raggruppamento logico di cluster, che consente di creare un'interoperabilità affidabile tra più tipi di cluster e consentire alle aziende di avere i cluster nella stessa rete virtuale. I pool di cluster offrono accesso rapido e conveniente a tutti i tipi di cluster creati su richiesta e su larga scala. Un pool di cluster corrisponde a un cluster nell'infrastruttura del servizio Azure Kubernetes.
Cluster
I cluster sono singoli carichi di lavoro di calcolo open source, ad esempio Apache Spark, Apache Flink e Trino, che possono essere creati rapidamente in pochi minuti con configurazioni predefinite e pochi clic. Anche se in esecuzione nello stesso pool di cluster, ogni cluster può avere configurazioni personalizzate, ad esempio il tipo di cluster, la versione, le dimensioni della macchina virtuale del nodo, il numero di nodi. I cluster vengono eseguiti in risorse di calcolo separate con i propri endpoint e DNS.
Funzionalità attualmente in anteprima
L'elenco seguente mostra le funzionalità di HDInsight su AKS attualmente in anteprima. Le funzionalità di anteprima vengono ordinate alfabeticamente.
| Area | Funzionalità |
|---|---|
| Fondamenti | Creare pool e cluster usando il portale, il supporto di Web Secure Shell (ssh) e la possibilità di scegliere il numero di nodi di lavoro durante la creazione del cluster |
| Immagazzinamento | per l'archiviazione ADLS Gen2 supporta |
| Metastore | Supporto Metastore esterno per Trino, Spark e Flink, Integrazione con HDInsight |
| Sicurezza | Supporto per il controllo degli accessi in base al ruolo ARM, supporto per l'autenticazione basata su MSI, opzione per fornire l'accesso al cluster ad altri utenti. |
| Registrazione e monitoraggio | Aggregazione dei log in Azure log analytics, per i log del server, le metriche di cluster e di servizio tramite Managed Prometheus e Grafana, supportare le metriche del server in Azure Monitor, pagina dello Stato del servizio per monitorare la salute del servizio |
| Scalabilità automatica | Scala automatica basata su carico e Scala automatica basata su programma |
| Personalizzare e configurare i cluster | Supporto per azioni script durante la creazione del cluster, supporto per gestione delle librerie, configurazione delle impostazioni del servizio dopo la creazione del cluster. |
| Trino | Supporto per i cataloghi trino , supporto dell'interfaccia della riga di comando di Trino, DBeaver supporto per l'invio di query, Aggiungere o rimuovere plug-in e connettori , supporto per gli eventi di delle query di registrazione, Supporto per analizzare le statistiche delle query per qualsiasi connettore di nel dashboard di Trino, Supporto per dashboard trino per monitorare le query, memorizzazione nella cache delle query, integrazione con Power BI, integrazione con Apache Superset, Redash, supporto per più connettori |
| Flink | Supporto per l'interfaccia utente Web nativa Flink, il supporto Flink con HMS per DStream, inviare processi al cluster usando 'API REST e il portale di Azure, Eseguire programmi in pacchetto come file JAR tramite l'interfaccia della riga di comando Flink, Supporto per i punti di salvataggio permanenti, Supporto per aggiornare le opzioni di configurazione quando il processo è in esecuzione, Connessione a più servizi di Azure: Azure Cosmos DB, Azure Databricks, Esplora dati di Azure, Hub eventi di Azure, hub IoT di Azure, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, inviare processi al cluster usando dell'interfaccia della riga di comando Flink e CDC con Flink |
| Scintilla | Jupyter Notebook, supporto per Delta Lake 2.0, supporto per Zeppelin, supporto per ATS, supporto per l'interfaccia del server di cronologia Yarn, invio di processi tramite SSH, invio di processi con SDK e Notebook di Machine Learning |
Roadmap delle funzionalità
| Caratteristica | Sequenza temporale di rilascio stimata | Stato |
|---|---|---|
| Scalabilità Automatica - Basato sul Carico - Trino | 1° trimestre 2024 | Finito |
| Ridimensionamento automatico consapevole del carico e dello shuffle per Spark | 2° trimestre 2024 | In corso |
| aggiornamento in loco | 2° trimestre 2024 | Finito |
| Supporto per istanze riservate | 2° trimestre 2024 | In corso |
| Autenticazione basata su MSI per Metastore (SQL) | 1° trimestre 2024 | In corso |
| Spark 3.4 | 2° trimestre 2024 | In corso |
| Trino 426 | 1° trimestre 2024 | Finito |
| Ranger per RBAC (controllo degli accessi in base al ruolo) | 2° trimestre 2024 | In corso |
| supporto della modalità app per Flink | 1° trimestre 2024 | Finito |
| Flink 1.17 | 1° trimestre 2024 | Finito |
| Supporto di Spark ACID | Primo trimestre 2024 | In corso |
| SKU configurabili per Headnode, SSH | 2° trimestre 2024 | In corso |
| Supporto del gateway SQL di Flink | Primo trimestre 2024 | Finito |
| cluster privati per HDInsight nel servizio Azure Kubernetes | 1° trimestre 2024 | Finito |
| Supporto di Ranger per Spark SQL | 4° trimestre 2024 | In corso |
| Ranger ACL nello strato di archiviazione | 4° trimestre 2024 | In corso |
| Supporto per One Lake come contenitore primario | Secondo trimestre 2024 | In corso |