Condividi tramite

Note sulla versione archiviate di Azure HDInsight su AKS

  • Articolo

Importante

Azure HDInsight su AKS è stato ritirato il 31 gennaio 2025. Scopri di più con questo annuncio.

È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.

Importante

Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire microsoft per altri aggiornamenti su community di Azure HDInsight.

Azure HDInsight su AKS è uno dei servizi più diffusi tra i clienti aziendali per l'analisi open source in Azure. Se vuoi abbonarti alle note di rilascio, segui le versioni su questo repository GitHub .

Data di rilascio: 05 agosto 2024

Questa versione si applica ai seguenti

  • Versione pool di cluster: 1.2
  • Versione cluster: 1.2.1
  • Versione AKS: 1.27

Nuove funzionalità

Autenticazione SQL basata su MSI Gli utenti possono ora autenticare il metastore esterno di Azure SQL DB con MSI anziché tramite l'autenticazione con password dell'ID utente. Questa funzionalità consente di proteggere ulteriormente la connessione cluster con Metastore.

SKU di macchine virtuali configurabili per il nodo head, il nodo SSH Questa funzionalità consente agli utenti di scegliere SKU specifici per nodi di testa, nodi worker e nodi SSH, offrendo la flessibilità di scelta in base al caso d'uso e al potenziale di ridurre il costo totale di proprietà (TCO).

Identità del Servizio Gestito Multipli nel cluster Gli utenti possono configurare più identità del servizio gestito per le operazioni degli amministratori del cluster e per l'accesso alle risorse correlate alle attività. Questa funzionalità consente agli utenti di demarcare e controllare l'accesso al cluster e ai dati che si trovano nell'account di archiviazione. Ad esempio, un'identità del servizio gestito per l'accesso ai dati nell'account di archiviazione e un'identità del servizio gestito dedicata per le operazioni del cluster.

Aggiornato

Azione Script Azione Script ora può essere aggiunta con i permessi utente Sudo. Gli utenti possono ora installare più dipendenze, inclusi i file JAR personalizzati per personalizzare i cluster in base alle esigenze.

Gestione Librerie funzionalità di scorciatoia del repository Maven aggiunta a Gestione Librerie in questa versione. L'utente può ora installare le dipendenze Maven direttamente dai repository open source.

Aggiornamento Spark 3.4 L'aggiornamento di Spark 3.4 introduce una gamma di nuove funzionalità

  • Miglioramenti delle API
  • Miglioramenti dello streaming strutturato
  • Miglioramento dell'usabilità e dell'esperienza di sviluppo

Importante

Per sfruttare tutte queste funzionalità più recenti, è necessario creare un nuovo pool di cluster con la versione 1.2 e la versione del cluster 1.2.1.

Problemi noti

  • Limitazione dell'identità del carico di lavoro:
    • C'è una limitazione nota durante la transizione verso l'identità del carico di lavoro. Questa limitazione è dovuta alla natura sensibile alle autorizzazioni delle operazioni FIC. Gli utenti non possono eseguire l'eliminazione di un cluster eliminando il gruppo di risorse. Le richieste di eliminazione del cluster devono essere attivate dall'applicazione/utente/entità con autorizzazioni FIC/delete. Nel caso in cui l'eliminazione della FIC non riesca, anche quella del cluster di alto livello fallisce.
    • Supporto per le identità gestite assegnate dall'utente (UAMI): è previsto un limite di 20 FIC per ogni UAMI. È possibile creare solo 20 credenziali federate in un'identità. In HDInsight sul cluster AKS, FIC (Federated Identity Credential) e SA hanno un mapping uno-a-uno e solo 20 SA possono essere creati contro un'identità del servizio gestito. Se si desidera creare più cluster, è necessario fornire diversi pacchetti MSI per superare la limitazione.
    • La creazione di credenziali di identità federate non è al momento supportata per le identità gestite assegnate dall'utente create in queste aree

Versione del sistema operativo

  • Mariner OS 2.0

Versioni del carico di lavoro

Carico di lavoro Versione
Trino 440
Flink 1.17.0
Apache Spark 3.4

versioni di Java e Scala supportate

Carico di lavoro Giava Scala
Trino Open JDK 21.0.2 - 
Flink Open JDK 11.0.21 2.12.7
Scintilla OpenJDK 1.8.0_345 2.12.15

L'anteprima è disponibile nelle aree seguenti.

Per altre domande, contattare il supporto tecnico di Azure o fare riferimento alla pagina delle opzioni di supporto . Se hai un feedback specifico sul prodotto, scrivici su aka.ms/askhdinsight.

Data di rilascio: 20 marzo 2024

Questa versione si applica ai seguenti

  • Versione pool di cluster: 1.1
  • Versione cluster: 1.1.1
  • Versione di AKS: 1.27

Nuove funzionalità

cluster in modalità applicazione Apache Flink

I cluster in modalità applicazione sono progettati per supportare risorse dedicate per processi di grandi dimensioni e a esecuzione prolungata. Quando si hanno attività di elaborazione dei dati a elevato utilizzo di risorse o estese, è possibile usare il cluster modalità applicazione. Questa modalità consente di allocare risorse dedicate per applicazioni Apache Flink specifiche, assicurandosi che dispongano della potenza di calcolo e della memoria necessarie per gestire in modo efficace carichi di lavoro di grandi dimensioni.

Per ulteriori informazioni, vedere cluster in modalità applicazione Apache Flink su HDInsight su AKS.

cluster privati per HDInsight nel servizio Azure Kubernetes

Con i cluster privati e le impostazioni del cluster di uscita, è ora possibile controllare il traffico in ingresso e in uscita da HDInsight nei pool di cluster e nei cluster su AKS.

  • Usare Firewall di Azure o gruppi di sicurezza di rete (NSG) per controllare il traffico in uscita, quando si sceglie di usare il pool di cluster in uscita con il servizio di bilanciamento del carico.
  • Usare il pool di cluster per traffico uscente con il routing definito dall'utente per controllare il traffico in uscita a livello di subnet.
  • Usare la funzionalità cluster del servizio Azure Kubernetes privato: per assicurarsi che il piano di controllo del servizio Azure Kubernetes o il server API disponga di indirizzi IP interni. Il traffico di rete tra il piano di controllo del servizio Azure Kubernetes/il server API e HDInsight nei pool di nodi del servizio Azure Kubernetes rimane solo nella rete privata.
  • Evitare di creare indirizzi IP pubblici per il cluster. Usare la funzionalità di ingresso privato nei cluster.

Per altre informazioni, vedere Controllare il traffico di rete da HDInsight su pool di cluster AKS e cluster.

Aggiornamento in loco

Aggiornare i cluster e i pool di cluster con gli aggiornamenti software più recenti. Ciò significa che è possibile usufruire degli aggiornamenti rapidi più recenti del pacchetto del cluster, degli aggiornamenti della sicurezza e delle patch del servizio Azure Kubernetes, senza ricreare i cluster. Per ulteriori informazioni, consulta Esegui l'upgrade di HDInsight nei cluster del servizio di Kubernetes su Azure e nei pool di cluster.

Importante

Per sfruttare tutti questi funzionalità più recenti, è necessario creare un nuovo pool di cluster con la versione 1.1 e il cluster 1.1.1.

Problemi noti

  • Limitazione dell'identità del carico di lavoro :
    • Esiste una limitazione nota durante la transizione all'identità del carico di lavoro. Questa limitazione è dovuta alla natura sensibile alle autorizzazioni delle operazioni FIC. Gli utenti non possono eseguire l'eliminazione di un cluster eliminando il gruppo di risorse. Le richieste di eliminazione del cluster devono essere attivate dall'applicazione/utente/entità con autorizzazioni FIC/delete. Nel caso in cui l'eliminazione FIC non riesca, anche l'eliminazione del cluster di alto livello non riesce.
    • supporto per le identità gestite assegnate dall'utente (UAMI) — c'è un limite di 20 FIC per ogni UAMI. È possibile creare solo 20 credenziali federate in un'identità. In HDInsight su un cluster di Azure Kubernetes Service (AKS), FIC (Federated Identity Credential) e SA hanno una mappatura uno-a-uno e solo 20 SA possono essere creati con un'identità del servizio gestito. Se si vogliono creare più cluster, è necessario fornire istanze MSI diverse per superare la limitazione.
    • La creazione di credenziali di identità federate non è attualmente supportata nelle identità gestite assegnate dall'utente create in queste aree

Versione del sistema operativo

  • Mariner OS 2.0

versioni del carico di lavoro

Carico di lavoro Versione
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

versioni di Java e Scala supportate

Carico di lavoro Giava Scala
Trino OpenJDK 17.0.7 - 
Flink OpenJDK 11.0.21 2.12.7
Scintilla Open JDK 1.8.0_345 2.12.15

L'anteprima è disponibile nelle aree seguenti.

Per ulteriori domande, contattare il supporto tecnico di Azure o fare riferimento alla pagina delle opzioni di supporto. Se hai un feedback specifico sul prodotto, scrivici su aka.ms/askhdinsight.

Data di rilascio: 05 febbraio 2024

Questa versione si applica ai seguenti

  • Versione pool di cluster: 1.1
  • Versione cluster: 1.1.0
  • Versione AKS: 1.27

Mancia

Per creare un nuovo cluster HDInsight nel servizio Azure Kubernetes nella versione 1.1.0, è necessario creare un nuovo pool di cluster con la versione 1.1

Nuove funzionalità

  • Identità del carico di lavoro è supportata per impostazione predefinita per i pool di cluster nella versione 1.1
  • I cluster Trino supportano Trino 426 dalla versione 1.1.0
    • HDInsight su Azure Kubernetes Service (AKS) include ora tutte le modifiche fino a Trino 426, con diversi miglioramenti significativi apportati dalla comunità. Altre informazioni su Trino sono disponibili qui.
  • La forma del cluster Trino supporta ora la scalabilità automatica basata sul carico dalla versione 1.1.0
    • Trino in HDInsight su AKS ora supporta la scalabilità automatica basata sul carico, rendendo il cluster più efficiente dal punto di vista dei costi. Scopri di più qui.
  • La configurazione del cluster Trino aggiunge una configurazione semplificata per il metastore Hive e per i cataloghi.
    • HDInsight su AKS ha semplificato la configurazione del metastore Hive esterno per il cluster Trino. è ora possibile specificare metastore esterno in config.properties e abilitarlo per ogni catalogo con un singolo parametro. Altre informazioni sui miglioramenti qui.
  • La configurazione del cluster Trino aggiunge il connettore SQL frazionato.
  • I cluster Flink ora supportano Flink 1.17.0 dai cluster di HDInsight su AKS nel rilascio 1.1.0.
    • HDInsight su AKS ora supporta la versione Flink 1.17.0, con miglioramenti significativi per i checkpoint, il grafico di fiamma al livello dei subtasks e gli allineamenti delle watermark. Altre informazioni sulla versione Flink 1.17 qui
  • Flink Gateway SQL è ora supportato in HDInsight con il rilascio 1.1.0 su AKS e i cluster di sessione Flink.

Correzioni di bug & CVEs

  • Questa versione include diverse correzioni CVE critiche nella piattaforma e nei componenti open source.
  • La forma del cluster Trino esclude automaticamente le tabelle di sistema dalla memorizzazione nella cache
  • La forma del cluster Trino migliora la gestione dei fusi orari di Timestamp di Power BI

Problemi noti

  • Limitazione dell'identità del carico di lavoro :
    • Esiste una limitazione nota durante la transizione all'identità del carico di lavoro. Ciò è dovuto alla natura sensibile alle autorizzazioni delle operazioni FIC. Gli utenti non possono eseguire l'eliminazione di un cluster eliminando il gruppo di risorse. Le richieste di eliminazione del cluster devono essere attivate dall'applicazione/utente/entità con autorizzazioni FIC/delete. Nel caso in cui l'eliminazione FIC non riesca, anche l'eliminazione del cluster di alto livello fallirà.

Nuove aree

  • Asia orientale

Versione del sistema operativo

  • Mariner OS 2.0

Versioni di carico di lavoro

Carico di lavoro Versione
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

versioni di Java e Scala supportate

Carico di lavoro Giava Scala
Trino OpenJDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark OpenJDK 1.8.0_345 2.12.15

L'anteprima è disponibile nelle aree seguenti.

Per eventuali altre domande, contattare il supporto tecnico Azure o fare riferimento alla pagina delle opzioni di supporto . Se hai un feedback specifico sul prodotto, scrivici su aka.ms/askhdinsight.

Passaggi successivi

Data di rilascio: 13 dicembre 2023

Questa versione dell'hotfix si applica ai seguenti

  • Versione del pool di cluster: 1.0
  • Versione cluster: 1.0.6

Problemi noti

  • Supporto per l'interfaccia utente dei tenant sicuri

    • Questa versione risolve un problema per cui gli URL Web del componente open source per HDInsight nei cluster del servizio Azure Kubernetes non erano accessibili. Per applicare questa correzione, contattare il supporto tecnico di Azure per abilitare questa funzionalità nella sottoscrizione o nel tenant.

    Come applicare la correzione rapida

    • Ricrea il tuo cluster
      • Per applicare questo hotfix, gli utenti esistenti devono ricreare il cluster in un pool di cluster esistente.

Versione del sistema operativo

  • Mariner OS 2.0

versioni del carico di lavoro

Carico di lavoro Versione
Trino 410
Flink 1.16
Apache Spark 3.3.1

versioni di Java e Scala supportate

Carico di lavoro Giava Scala
Trino OpenJDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Scintilla OpenJDK 1.8.0_345 2.12.15

L'anteprima è disponibile nelle aree seguenti.

Per altre domande, contattare supporto tecnico di Azure o fare riferimento alla pagina opzioni di supporto.