Novità di HDInsight su AKS (anteprima)
Nota
Azure HDInsight su AKS verrà ritirato il 31 gennaio 2025. Prima del 31 gennaio 2025, sarà necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare interruzioni improvvise dei carichi di lavoro. I cluster rimanenti nella sottoscrizione verranno arrestati e rimossi dall’host.
Solo il supporto di base sarà disponibile fino alla data di ritiro.
Importante
Questa funzionalità è attualmente disponibile solo in anteprima. Le Condizioni per l'utilizzo supplementari per le anteprime di Microsoft Azure includono termini legali aggiuntivi che si applicano a funzionalità di Azure in versione beta, in anteprima o in altro modo non ancora disponibili a livello generale. Per informazioni su questa anteprima specifica, vedere Informazioni sull'anteprima di Azure HDInsight nel servizio Azure Kubernetes. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire Microsoft per altri aggiornamenti nella Community di Azure HDInsight.
In HDInsight su AKS, tutte le operazioni e la gestione dei cluster hanno supporto nativo per la gestione dei servizi nel portale di Azure per singoli cluster.
In HDInsight su AKS sono stati introdotti due nuovi concetti:
- I pool di cluster vengono usati per raggruppare e gestire i cluster.
- I cluster vengono usati per ambienti di calcolo open source e sono ospitati all'interno di un pool di cluster.
Pool di cluster
HDInsight su AKS viene eseguito nel servizio Azure Kubernetes (AKS). La risorsa di primo livello è il pool di cluster e gestisce tutti i cluster in esecuzione nello stesso cluster del servizio Azure Kubernetes (AKS). Quando si crea un pool di cluster, viene creato contemporaneamente un cluster del servizio Azure Kubernetes (AKS) sottostante per ospitare tutti i cluster nel pool. I pool di cluster sono un raggruppamento logico di cluster che consente di creare un'interoperabilità solida tra più tipi di cluster e permette alle aziende di avere i cluster nella stessa rete virtuale. I pool di cluster offrono accesso rapido e conveniente a tutti i tipi di cluster creati su richiesta e su larga scala. Un pool di cluster corrisponde a un cluster nell'infrastruttura del servizio Azure Kubernetes (AKS).
Clusters (Cluster)
I cluster sono carichi di lavoro di calcolo individuali, come Apache Spark, Apache Flink e Trino, che possono essere creati rapidamente in pochi minuti con configurazioni preimpostate e pochi clic. Anche se vengono eseguiti nello stesso pool di cluster, ogni cluster può avere configurazioni proprie, ad esempio il tipo di cluster, la versione, le dimensioni della VM del nodo, il numero di nodi. I cluster vengono eseguiti in risorse di calcolo separate con i propri endpoint e DNS.
Funzionalità attualmente in anteprima
La tabella seguente elenca le funzionalità di HDInsight su AKS attualmente in anteprima. Le funzionalità di anteprima sono ordinate alfabeticamente.
| Area | Funzionalità |
|---|---|
| Nozioni fondamentali | Creare pool e cluster usando il portale, il supporto di Web Secure Shell (SSH) e la possibilità di scegliere il numero di nodi di lavoro durante la creazione del cluster |
| Storage | Supporto archiviazione ADLS Gen2 |
| Metastore | Supporto metastore esterno per Trino, Spark e Flink, integrazione con HDInsight |
| Sicurezza | Supporto per il controllo degli accessi in base al ruolo (RBAC) ARM, supporto per l'autenticazione basata su MSI, opzione per fornire l'accesso al cluster ad altri utenti |
| Registrazione e monitoraggio | Aggregazione dei log in Azure Log analytics, per i log del server, i cluster e le metriche del servizio tramite Prometheus gestito e Grafana, metriche del server di supporto in Monitoraggio di Azure, pagina Stato del servizio per il monitoraggio dell'integrità del servizio |
| Scalabilità automatica | Ridimensionamento automatico basato sul carico e ridimensionamento automatico basato su pianificazione |
| Personalizzare e configurare i cluster | Supporto per azioni script durante la creazione del cluster, supporto per gestione librerie, impostazioni di configurazione del servizio dopo la creazione del cluster |
| Trino | Supporto per cataloghi Trino, supporto dell'interfaccia della riga di comando di Trino, supporto DBeaver per l'invio di query, aggiunta o rimozione di plug-in e connettori, supporto per eventi di registrazione query, supporto per analisi delle statistiche delle query per qualsiasi connettore nel dashboard di Trino, supporto per il dashboard di Trino per monitorare le query, memorizzazione nella cache delle query, integrazione con Power BI, integrazione con Apache Superset, Redash, supporto per più connettori |
| Flink | Supporto per l'interfaccia utente Web nativa di Flink, supporto di Flink con HMS per DStream, invio di processi al cluster usando l'API REST e il portale di Azure, esecuzione di programmi in pacchetto come file JAR tramite l'interfaccia della riga di comando di Flink, supporto per i punti di salvataggio persistenti, supporto per l'aggiornamento delle opzioni di configurazione quando il processo è in esecuzione, connessione a più servizi di Azure: Azure Cosmos DB, Azure Databricks, Esplora dati di Azure, Hub eventi di Azure, Hub IoT di Azure, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, invio di processi al cluster usando l'interfaccia della riga di comando di Flink e CDC con Flink |
| Spark | Jupyter Notebook, supporto per Delta Lake 2.0, supporto Zeppelin, supporto ATS, supporto per l'interfaccia server cronologia Yarn, invio di processi tramite SSH, invio di processi tramite SDK e notebook di Machine Learning |
Roadmap delle funzionalità
| Funzionalità | Timeline di rilascio stimata | Status |
|---|---|---|
| Scalabilità automatica - Basata sul carico - Trino | Q1 2024 | Completato |
| Ridimensionamento automatico basato sul carico Shuffle aware per Spark | T2 2024 | In corso |
| Aggiornamento in place | T2 2024 | Completato |
| Supporto istanze riservate | T2 2024 | In corso |
| Autenticazione basata su MSI per Metastore (SQL) | Q1 2024 | In corso |
| Spark 3.4 | T2 2024 | In corso |
| Trino 426 | Q1 2024 | Completato |
| Ranger per controllo degli accessi in base al ruolo (RBAC) | T2 2024 | In corso |
| Supporto modalità app per Flink | Q1 2024 | Completato |
| Flink 1.17 | Q1 2024 | Completato |
| Supporto ACID Spark | Q1 2024 | In corso |
| SKU configurabili per Headnode, SSH | T2 2024 | In corso |
| Supporto gateway SQL Flink | Q1 2024 | Completato |
| Cluster privati per HDInsight nel servizio Azure Kubernetes | Q1 2024 | Completato |
| Supporto Ranger per SQL Spark | 4° trimestre 2024 | In corso |
| ACL ranger nel livello di archiviazione | 4° trimestre 2024 | In corso |
| Supporto per One Lake come contenitore primario | T2 2024 | In corso |