Note sulla versione archiviate

Articolo
10/29/2024

Riepilogo

Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Sottoscrivere le note sulla versione di HDInsight per informazioni aggiornate su HDInsight e su tutte le versioni di HDInsight.

Per eseguire la sottoscrizione, fare clic sul pulsante "Watch" nel banner e seguire le versioni di HDInsight.

Informazioni sulla versione

Data di rilascio: 30 agosto 2024

Nota

Si tratta di una versione hotfix/manutenzione per il provider di risorse. Per altre informazioni, vedere Provider di risorse.

Azure HDInsight rilascia periodicamente gli aggiornamenti di manutenzione per la distribuzione di correzioni di bug, miglioramenti delle prestazioni e patch di sicurezza, consentendo all'utente di rimanere al passo con questi aggiornamenti e garantendo prestazioni e affidabilità ottimali.

Questa nota sulla versione si applica a

HDInsight versione 5.1.

HDInsight versione 5.0.

HDInsight versione 4.0.

La versione di HDInsight sarà disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2407260448. Come controllare il numero di immagine?

HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale nelle varie aree. Potrebbero essere necessari fino a 10 giorni lavorativi perché una nuova versione sia disponibile in tutte le regioni.

Versioni del sistema operativo

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere versioni dei componenti di HDInsight 5.x.

Problema risolto

Correzione bug del database predefinita.

Presto disponibile

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle VM serie A Basic e Standard alle VM serie Av2 prima del 31 agosto 2024.
Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.

Per altre domande, contattare il Supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti e votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight.

Nota

È consigliabile che i clienti usino le versioni più recenti di HDInsight Images perché consentono di ottenere gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni di sicurezza migliori. Per altre informazioni, vedere Procedure consigliate.

Data di rilascio: 09 agosto 2024

Questa nota sulla versione si applica a

HDInsight versione 5.1.

HDInsight versione 5.0.

HDInsight versione 4.0.

Versioni del sistema operativo

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere versioni dei componenti di HDInsight 5.x.

Aggiornamenti

Aggiunta dell'agente di Monitoraggio di Azure per Log Analytics in HDInsight

Aggiunta di SystemMSI e Registrazione guidata automatica per Log Analytics, data la deprecazione della nuova esperienza di Monitoraggio di Azure (anteprima).

Nota

Il numero di immagine effettivo 2407260448, i clienti che usano il portale per Log Analytics avranno l'esperienza predefinita dell'agente di Monitoraggio di Azure. Se si vuole passare all'esperienza di Monitoraggio di Azure (anteprima), è possibile aggiungere i cluster alle immagini precedenti creando una richiesta di supporto.

Data di rilascio: 05 luglio 2024

Nota

Si tratta di una versione hotfix/manutenzione per il provider di risorse. Per altre informazioni, vedere Provider di risorse

Problemi risolti

I tag HOBO sovrascrivono i tag utente.
- I tag HOBO sovrascrivono i tag utente nelle risorse secondarie nella creazione del cluster HDInsight.

Data di rilascio: 19 giugno 2024

Questa nota sulla versione si applica a

HDInsight versione 5.1.

HDInsight versione 5.0.

HDInsight versione 4.0.

La versione di HDInsight sarà disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2406180258. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere versioni dei componenti di HDInsight 5.x.

Problemi risolti

Miglioramenti della sicurezza
- Miglioramenti all'uso dei tag per i cluster in linea con i requisiti SFI.
- Miglioramenti apportati agli script dei probe in base ai requisiti SFI.
Miglioramenti in HDInsight Log Analytics con il supporto dell'identità gestita dal sistema per il provider di risorse HDInsight.
Aggiunta di una nuova attività per aggiornare la versione dell'agente mdsd per l'immagine vecchia (creata prima del 2024).
Abilitazione di MISE nel gateway come parte dei miglioramenti continui per la Migrazione MSAL.
Incorporare Spark Thrift Server Httpheader hiveConf in Jetty HTTP ConnectionFactory.
Ripristinare RANGER-3753 e RANGER-3593.

L'implementazione setOwnerUser fornita nella versione di Ranger 2.3.0 presenta un problema critico di regressione quando viene usata da Hive. In Ranger 2.3.0, quando HiveServer2 tenta di valutare i criteri, Ranger Client tenta di ottenere il proprietario della tabella hive chiamando il Metastore nella funzione setOwnerUser che essenzialmente effettua una chiamata all'archiviazione per verificare l'accesso per tale tabella. Questo problema causa un rallentamento dell'esecuzione delle query quando Hive viene eseguito su Ranger 2.3.0.

Presto disponibili

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle VM serie A Basic e Standard alle VM serie Av2 prima del 31 agosto 2024.
Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.

Per altre domande, contattare il Supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti e votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight.

Nota

Data di rilascio: 16 maggio 2024

Questa nota sulla versione si applica a

HDInsight 5.0 versione.

HDInsight versione 4.0.

La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2405081840. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere versioni dei componenti di HDInsight 5.x.

Problemi risolti

Aggiunta dell'API nel gateway per ottenere il token per KeyVault, come parte dell'iniziativa SFI.
Nella nuova tabella HDInsightSparkLogs Monitoraggio log, per il tipo di log SparkDriverLog, alcuni dei campi erano mancanti. Ad esempio: LogLevel & Message. Questa versione aggiunge i campi mancanti agli schemi e alla formattazione fissa per SparkDriverLog.
I log livy non sono disponibili nella tabella di monitoraggio SparkDriverLog di Log Analytics, a causa di un problema relativo al percorso di origine del log Livy e all'analisi dei log nelle configurazioni SparkLivyLog.
Qualsiasi cluster HDInsight che usa ADLS Gen2 come account di archiviazione primario può sfruttare l'accesso basato su MSI a qualsiasi risorsa di Azure (ad esempio SQL, Keyvaults) usata all'interno del codice dell'applicazione.

Prossimamente

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle VM serie A Basic e Standard alle VM serie Av2 prima del 31 agosto 2024.
Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.

Per altre domande, contattare il Supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti e votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight.

Nota

Data di rilascio: 15 aprile 2024

Questa nota sulla versione si applica a HDInsight versione 5.1.

La versione di HDInsight sarà disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2403290825. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere versioni dei componenti di HDInsight 5.x.

Problemi risolti

Correzioni di bug per database Ambar, Hive Warehouse Controller (HWC), Spark, HDFS
Correzioni di bug per il modulo Log Analytics per HDInsightSparkLogs
Correzioni di CVE per il provider di risorse HDInsight.

Presto disponibili

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle VM serie A Basic e Standard alle VM serie Av2 prima del 31 agosto 2024.
Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.

Per altre domande, contattare il Supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti e votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight.

Nota

Data di rilascio: 15 febbraio 2024

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2401250802. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Nota

Ubuntu 18.04 beneficia del supporto ESM (Extended Security Maintenance) fornito dal team Linux di Azure dalla release di Azure HDInsight di luglio 2023 in avanti.

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Nuove funzionalità

Supporto di Apache Ranger per Spark SQL in Spark 3.3.0 (HDInsight versione 5.1) con Enterprise Security Package. Per altre informazioni, vedere qui.

Problemi risolti

Correzioni di sicurezza dei componenti di Ambari e Oozie

Prossimamente

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A

Siamo in ascolto: è possibile aggiungere altre idee e proporre altri argomenti, votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight

Nota

Passaggi successivi

Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Se si vogliono sottoscrivere le note sulla versione, seguire questo repository GitHub.

Data di rilascio: 10 gennaio 2024

Questa versione hotfix si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2401030422. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Nota

Ubuntu 18.04 beneficia del supporto ESM (Extended Security Maintenance) fornito dal team Linux di Azure dalla release di Azure HDInsight di luglio 2023 in avanti.

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Problemi risolti

Correzioni di sicurezza dei componenti di Ambari e Oozie

Prossimamente

Ritiro VM di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A

Siamo in ascolto: è possibile aggiungere altre idee e proporre altri argomenti, votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight

Nota

Data di rilascio: 26 ottobre 2023

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. HDInsight sarà disponibile per tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2310140056. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Novità

HDInsight annuncia la disponibilità generale di HDInsight 5.1 a partire dal 1° novembre 2023. Questa versione introduce un aggiornamento completo dello stack per i componenti open source e le integrazioni di Microsoft.
- Ultime versioni open source - HDInsight 5.1 include la versione open source stabile più recente disponibile. I clienti possono trarre vantaggio da tutte le funzionalità open source più recenti, dai miglioramenti delle prestazioni di Microsoft e dalle correzioni di bug.
- Sicuro - Le ultime versioni sono dotate delle correzioni di sicurezza più recenti, sia delle correzioni di sicurezza open source che dei miglioramenti della sicurezza di Microsoft.
- TCO inferiore - Grazie ai miglioramenti delle prestazioni, i clienti possono ridurre il costo di proprietà con la scalabilità automatica avanzata.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare durante la creazione del cluster se per la connessione dei nodi del cluster HDInsight all'account di archiviazione occorre usare un canale sicuro.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare la postura di sicurezza complessiva dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono verificare che l'utente debba avere l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action per eseguire operazioni di creazione. Se questo controllo non è abilitato, il cliente potrebbe riscontrare errori di creazione.
Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- I cluster ABFS non ESP impediscono agli utenti di gruppo non Hadoop di eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora la postura di sicurezza del cluster.
Aggiornamento della quota inline.
- Ora è possibile richiedere un aumento della quota direttamente dalla pagina Quota personale. Con la chiamata API diretta, l'operazione è molto più veloce. Nel caso in cui la chiamata API non riesca, è possibile creare una nuova richiesta di supporto per l'aumento della quota.

Prossimamente

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata in tutte le aree a partire dalla prossima versione.
Ritiro delle macchine virtuali di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD.
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A

Siamo in ascolto: è possibile aggiungere altre idee e proporre altri argomenti, votarli in HDInsight Ideas e seguirci per altri aggiornamenti nella community di AzureHDInsight

Nota

Questa versione risolve le CVE seguenti pubblicate da MSRC il 12 settembre 2023. L'azione è l'aggiornamento all'immagine più recente 2308221128 o 2310140056. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE	Commento
CVE-2023-38156	Importante	Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio	Incluso nell'immagine 2308221128 o 2310140056
CVE-2023-36419	Importante	Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio	Applicare l'azione Script nei cluster o eseguire l'aggiornamento all'immagine 2310140056

Nota

Data di rilascio: 7 settembre 2023

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. HDInsight sarà disponibile per tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2308221128. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Importante

Questa versione risolve le CVE seguenti pubblicate da MSRC il 12 settembre 2023. L'azione è l'aggiornamento all'immagine più recente 2308221128. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE	Commento
CVE-2023-38156	Importante	Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio	Incluso nell'immagine 2308221128
CVE-2023-36419	Importante	Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio	Applicare l'azione Script nei cluster

Presto disponibile

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata entro il 30 settembre 2023.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare durante la creazione del cluster se i nodi del cluster HDInsight devono usare un canale sicuro per contattare l'account di archiviazione.
Aggiornamento della quota inline.
- È possibile richiedere un aumento della quota direttamente dalla pagina Quota personale. Si tratterà di una chiamata API diretta, che è più veloce. Se la chiamata APdI ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare la postura di sicurezza complessiva dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono verificare che l'utente debba avere l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action per eseguire operazioni di creazione. I clienti devono tenerne conto per la pianificazione, in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023. 
Ritiro delle macchine virtuali di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le VM di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle VM serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD. Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per la leggibilità generale]
- È prevista l'introduzione di una modifica nei cluster ABFS non ESP per impedire agli utenti di gruppo non Hadoop di eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora la postura di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A

È possibile aggiungere altre proposte e idee e altri argomenti e votarli nella community di HDInsight (azure.com).

Nota

Data di rilascio: 25 luglio 2023

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. HDInsight sarà disponibile per tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2307201242. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Novità

HDInsight 5.1 è ora supportato con il cluster ESP.
La versione aggiornata di Ranger 2.3.0 e Oozie 5.2.1 ora fanno parte di HDInsight 5.1
Il cluster Spark 3.3.1 (HDInsight 5.1) include Hive Warehouse Connector (HWC) 2.1, che funziona insieme al cluster Interactive Query (HDInsight 5.1).
Ubuntu 18.04 beneficia del supporto ESM (Extended Security Maintenance) fornito dal team Linux di Azure dalla release di Azure HDInsight di luglio 2023 in avanti.

Importante

Questa versione risolve le CVE seguenti pubblicate da MSRC l'8 agosto 2023. L'azione è l'aggiornamento all'immagine più recente 2307201242. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE
CVE-2023-35393	Importante	Vulnerabilità di spoofing di Apache Hive in Azure
CVE-2023-35394	Importante	Vulnerabilità di spoofing di Jupyter Notebook in Azure HDInsight
CVE-2023-36877	Importante	Vulnerabilità di spoofing di Apache Oozie in Azure
CVE-2023-36881	Importante	Vulnerabilità di spoofing di Apache Ambari in Azure
CVE-2023-38188	Importante	Vulnerabilità di spoofing di Apache Hadoop in Azure

Prossimamente

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare durante la creazione del cluster se i nodi del cluster HDInsight devono usare un canale sicuro per contattare l'account di archiviazione.
Aggiornamento della quota inline.
- È possibile richiedere un aumento della quota direttamente dalla pagina Quota personale. Si tratterà di una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare la postura di sicurezza complessiva dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono verificare che l'utente debba avere l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action per eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023. 
Ritiro delle macchine virtuali di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD. Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per la leggibilità generale]
- È prevista l'introduzione di una modifica nei cluster ABFS non ESP per impedire agli utenti di gruppo non Hadoop di eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora la postura di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A

Qui è possibile aggiungere altre proposte, idee e altri argomenti; oltre a votarli - Community di HDInsight (azure.com); per altri aggiornamenti è possibile seguirci su X

Nota

Data di rilascio: 08 maggio 2023

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. HDInsight è disponibile in tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2304280205. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Azure HDInsight 5.1 aggiornato con
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Nota
- Tutti i componenti sono integrati con Hadoop 3.3.4 e ZK 3.6.3
- Tutti i componenti aggiornati precedenti sono ora disponibili nei cluster non ESP per l'anteprima pubblica.

Scalabilità automatica avanzata per HDInsight

Azure HDInsight ha apportato notevoli miglioramenti alla stabilità e alla latenza sulla scalabilità automatica. Le modifiche essenziali includono un ciclo di feedback migliorato per le decisioni di ridimensionamento, un miglioramento significativo della latenza per il ridimensionamento e il supporto per il ripristino dei nodi rimossi. Qui sono disponibili altre informazioni sui miglioramenti e su come personalizzare la configurazione del cluster ed eseguirne la migrazione per usufruire della scalabilità automatica avanzata. La funzionalità di scalabilità automatica avanzata è disponibile a partire dal 17 maggio 2023 in tutte le aree supportate.
Azure HDInsight ESP per Apache Kafka 2.4.1 è ora disponibile a livello generale.

Azure HDInsight ESP per Apache Kafka 2.4.1 è disponibile in anteprima pubblica a partire da aprile 2022. Dopo miglioramenti significativi nella stabilità e nelle correzioni CVE, Azure HDInsight ESP per Kafka 2.4.1 è ora disponibile a livello generale e pronto per i carichi di lavoro di produzione. Leggere le informazioni dettagliate sulla configurazione e la migrazione.
Gestione della quota per HDInsight

Attualmente HDInsight alloca la quota alle sottoscrizioni dei clienti a livello di area. I core allocati ai clienti sono generici e non classificati a livello di famiglia di macchine virtuali (ad esempio, Dv2, Ev3, Eav4 e così via).

HDInsight ha introdotto una visualizzazione migliorata, che mostra i dettagli e la classificazione delle quote per le macchine virtuali a livello di famiglia. Questa funzionalità consente ai clienti di visualizzare le quote correnti e rimanenti per un'area a livello di famiglia di VM. Con la visualizzazione migliorata, i clienti usufruiscono di una visibilità più ampia per la pianificazione delle quote e di un'esperienza utente migliore. Questa funzionalità è attualmente disponibile in HDInsight 4.x e 5.x per l'area Stati Uniti orientali (EUAP). Altre aree seguiranno più avanti.

Per altre informazioni, vedere Pianificazione della capacità dei cluster in Azure HDInsight | Microsoft Learn

Polonia Centrale

La lunghezza massima del nome del cluster cambia da 59 a 45 caratteri per migliorare la postura di sicurezza dei cluster.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare durante la creazione del cluster se i nodi del cluster HDInsight devono usare un canale sicuro per contattare l'account di archiviazione.
Aggiornamento della quota inline.
- È possibile richiedere un aumento della quota direttamente dalla pagina Quota personale. Si tratta di una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare la postura di sicurezza complessiva dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono verificare che l'utente debba avere l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action per eseguire operazioni di creazione. I clienti devono pianificare di conseguenza, in quanto si tratta di un controllo obbligatorio per evitare errori di creazione del cluster.
Ritiro delle macchine virtuali di serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirate le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore quantità di memoria per vCPU e un'archiviazione più veloce su unità SSD. Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per la leggibilità generale]
- È prevista l'introduzione di una modifica nei cluster ABFS non ESP per impedire agli utenti di gruppo non Hadoop di eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora la postura di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.

Data di rilascio: 28 febbraio 2023

Questa versione si applica a HDInsight 4.0. e 5.0, 5.1. La versione di HDInsight è disponibile per tutte le aree per diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2302250400. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Per le versioni specifiche del carico di lavoro, vedere

Versioni dei componenti di HDInsight 5.x

Importante

Microsoft ha rilasciato CVE-2023-23408, che è stato risolto nella versione corrente. I clienti sono invitati ad aggiornare i cluster all'immagine più recente.

HDInsight 5.1

È stata avviata l'implementazione di una nuova versione di HDInsight 5.1. Tutte le nuove versioni open source sono state aggiunte come versioni incrementali in HDInsight 5.1.

Per altre informazioni, vedere versione HDInsight 5.1.0

Aggiornamento di Kafka 3.2.0 (anteprima)

Kafka 3.2.0 include diverse nuove funzionalità e miglioramenti significativi.
- Aggiornamento di Zookeeper alla versione 3.6.3
- Supporto di Kafka Streams
- Garanzie di recapito superiori per il producer Kafka abilitate per impostazione predefinita.
- log4j 1.x è stato sostituito con reload4j.
- Invio un suggerimento al leader della partizione per recuperare la partizione.
- JoinGroupRequest e LeaveGroupRequest hanno un motivo collegato.
- Aggiunta delle metriche di conteggio broker8.
- Miglioramenti del mirroring Maker2.

Aggiornamento di HBase 2.4.11 (anteprima)

Questa versione include nuove funzionalità, tra cui l'aggiunta di nuovi tipi di meccanismi di memorizzazione nella cache a blocchi e la possibilità di modificare hbase:meta table e visualizzare la tabella hbase:meta dall'interfaccia utente Web di HBase.

Aggiornamento di Phoenix 5.1.2 (anteprima)

In questa versione, Phoenix è stato aggiornato alla versione 5.1.2. Questo aggiornamento include Phoenix Query Server. Phoenix Query Server offre un proxy per il driver JDBC Phoenix standard e fornisce un protocollo di trasmissione compatibile con le versioni precedenti per richiamare tale driver JDBC.

CVE di Ambari

Sono stati corretti più CVE di Ambari.

Nota

ESP non è supportato per Kafka e HBase in questa versione.

Passaggi successivi

Autoscale
- Scalabilità automatica con una latenza inferiore e diversi miglioramenti
Limitazione della modifica del nome del cluster
- La lunghezza massima del nome del cluster passa da 59 a 45 nei cloud Pubblico, Azure Cina e Azure per enti pubblici.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare durante la creazione del cluster se i nodi del cluster HDInsight devono usare un canale sicuro per contattare l'account di archiviazione.
Cluster ABFS non ESP [Autorizzazioni cluster per la leggibilità generale]
- È prevista l'introduzione di una modifica nei cluster ABFS non ESP per impedire agli utenti di gruppo non Hadoop di eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora la postura di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.
Aggiornamenti open source
- Apache Spark 3.3.0 e Hadoop 3.3.4 sono in fase di sviluppo in HDInsight 5.1 e includono diverse nuove funzionalità, prestazioni e altri miglioramenti significativi.

Nota

Data di rilascio: 12 dicembre 2022

Questa versione si applica a HDInsight 4.0. e la versione di HDInsight 5.0 è resa disponibile per tutte le aree in diversi giorni.

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Kernel Linux 5.4

Log Analytics - I clienti possono abilitare il monitoraggio classico per ottenere l'ultima versione di OMS 14.19. Per rimuovere le versioni precedenti, disabilitare e abilitare il monitoraggio classico.
Disconnessione automatica dell'utente dall'interfaccia di Ambari per inattività. Per altre informazioni, vedere qui
Spark - Questa versione include una versione nuova e ottimizzata di Spark 3.1.3. Abbiamo testato Apache Spark 3.1.2 (versione precedente) e Apache Spark 3.1.3 (versione corrente) usando il benchmark TPC-DS. Il test è stato eseguito usando lo SKU E8 V3 per Apache Spark su un carico di lavoro di 1 TB. Apache Spark 3.1.3 (versione corrente) ha superato le prestazioni di Apache Spark 3.1.2 (versione precedente) di oltre il 40% nel runtime di query totale per le query TPC-DS usando le stesse specifiche hardware. Il team di Microsoft Spark ha aggiunto ottimizzazioni disponibili in Azure Synapse con Azure HDInsight. Per altre informazioni, vedere Velocizzare i carichi di lavoro dei dati con gli aggiornamenti delle prestazioni di Apache Spark 3.1.2 in Azure Synapse

Qatar centrale
Germania settentrionale

HDInsight è passato da Azul Zulu Java JDK 8 a Adoptium Temurin JDK 8, che supporta runtime certificati TCK di alta qualità e la tecnologia associata per l'uso nell'intero ecosistema Java.
HDInsight è passato a reload4j. Le modifiche di log4j sono applicabili a
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Phoenix

In futuro HDInsight implementerà TLS1.2. Le versioni precedenti verranno aggiornate sulla piattaforma. Se si eseguono applicazioni in HDInsight che usano TLS 1.0 e 1.1, eseguire l'aggiornamento a TLS 1.2 per evitare interruzioni nei servizi.

Per altre informazioni, vedere Come abilitare TLS (Transport Layer Security)

Fine del supporto per i cluster Azure HDInsight in Ubuntu 16.04 LTS dal 30 novembre 2022. HDInsight ha iniziato a rilasciare immagini del cluster con Ubuntu 18.04 dal 27 giugno 2021. I clienti che eseguono cluster che usano Ubuntu 16.04 devono ricompilare i cluster con le immagini HDInsight più recenti entro il 30 novembre 2022.

Per altre informazioni su come controllare la versione Ubuntu del cluster, vedere qui

Eseguire il comando "lsb_release -a" nel terminale.
Se il valore della proprietà "Description" nell'output è "Ubuntu 16.04 LTS", questo aggiornamento è applicabile al cluster.

Supporto per la selezione delle zone di disponibilità per i cluster Kafka e HBase (accesso in scrittura).

Correzioni di bug open source

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
HIVE-26127	Errore di INSERT OVERWRITE - File non trovato
HIVE-24957	Risultati errati quando la sottoquery ha COALESCE nel predicato di correlazione
HIVE-24999	HiveSubQueryRemoveRule genera un piano non valido per la sottoquery IN con più correlazioni
HIVE-24322	Se è presente un inserimento diretto, occorre controllare l'ID tentativo quando la lettura del manifesto ha esito negativo
HIVE-23363	Aggiornare la dipendenza DataNucleus alla versione 5.2
HIVE-26412	Creare l'interfaccia per recuperare gli slot disponibili e aggiungere un'implementazione predefinita
HIVE-26173	Aggiornare derby alla versione 10.14.2.0
HIVE-25920	Aggiornare `Xerce2` alla versione 2.12.2.
HIVE-26300	Aggiornare Jackson databind alla versione 2.12.6.1 o superiore per evitare CVE-2020-36518

Data di rilascio: 10/08/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.

Nuova funzionalità

1. Collegare dischi esterni nei cluster HDI Hadoop/Spark

Il cluster HDInsight include spazio su disco predefinito in base allo SKU. Questo spazio potrebbe non essere sufficiente in scenari con processi di grandi dimensioni.

Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che vengono usati come directory locale di gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali dello strumento di gestione nodi.

Nota

I dischi aggiunti sono configurati solo per le directory locali di gestione nodi.

Per altre informazioni, vedere qui

2. Analisi della registrazione selettiva

L'analisi della registrazione selettiva è ora disponibile in anteprima pubblica in tutte le aree. È possibile connettere il cluster a un'area di lavoro Log Analytics. Dopo l'abilitazione è possibile visualizzare i log e le metriche, ad esempio i log di sicurezza di HDInsight, Yarn Resource Manager, le metriche di sistema e così via. È possibile monitorare i carichi di lavoro e vedere in che modo influiscono sulla stabilità del cluster. La registrazione selettiva consente di abilitare/disabilitare tutte le tabelle o di abilitare tabelle selettive nell'area di lavoro Log Analytics. È possibile modificare il tipo di origine per ogni tabella, perché nella nuova versione del monitoraggio di Geneva una tabella ha più origini.

Il sistema di monitoraggio Geneva usa mdsd (daemon di MDS), che è un agente di monitoraggio, e Fluentd per raccogliere i log usando un livello di registrazione unificato.
La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre nuove porta né modifica impostazioni di sicurezza esistenti, non ci sono modifiche alla sicurezza.
L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.

Per altre informazioni, vedere qui

Fisso

Log analytics

Log Analytics integrato con Azure HDInsight che esegue OMS versione 13 richiede un aggiornamento a OMS 14 per applicare gli ultimi aggiornamenti della sicurezza. I clienti che usano la versione precedente del cluster con OMS 13 devono installare OMS versione 14 per soddisfare i requisiti di sicurezza. (Come controllare la versione corrente e installare la 14)

Come controllare la versione corrente di OMS

Accedere al cluster tramite SSH.
Nel client SSH eseguire il comando seguente.

sudo /opt/omi/bin/ominiserver/ --version

Screenshot che mostra come controllare l'aggiornamento di OMS.

Come aggiornare la versione di OMS da 13 a 14

Accedere al portale di Azure
Nel gruppo di risorse selezionare la risorsa cluster HDInsight
Selezionare Azioni script
Nel pannello Invia azione script scegliere il Tipo di script personalizzato
Incollare il collegamento seguente nella casella URL dello script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selezionare Tipi di nodo
Selezionare Crea.

Screenshot che mostra come eseguire l'aggiornamento di OMS.

Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Nel client SSH eseguire il comando seguente.

sudo /opt/omi/bin/ominiserver/ --version

Altre correzioni di bug

L'interfaccia della riga di comando dei log di Yarn non riusciva a recuperare i log in presenza di TFile danneggiati o vuoti.
Risoluzione di un errore di dettagli non validi dell'entità servizio durante il recupero del token OAuth da Azure Active Directory.
Miglioramento dell'affidabilità nella creazione del cluster quando sono configurati più di 100 nodi di lavoro.

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
Errore di compilazione Tez: FileSaver.js non trovato	TEZ-4411
Eccezione FS errato quando il warehouse e `scratchdir` si trovano in FS diversi	TEZ-4406
TezUtils.createConfFromByteString in configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf dovrebbe usare snappy anziché DeflaterOutputStream	TEZ-4113
Aggiornare la dipendenza protobuf a 3.x	TEZ-4363

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
Ottimizzazioni delle prestazioni nella generazione suddivisione ORC	HIVE-21457
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di suddivisione BI	HIVE-22582
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength	HIVE-23533
Vettorializzazione di OrcAcidRowBatchReader.computeOffset e ottimizzazione bucket	HIVE-17917

Problemi noti

HDInsight è compatibile con Apache HIVE 3.1.2. A causa di un bug in questa versione, la versione di Hive viene visualizzata come 3.1.0 nelle interfacce hive. Non c'è però alcun impatto sulle funzionalità.

Data di rilascio: 10/08/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.

Nuova funzionalità

1. Collegare dischi esterni nei cluster HDI Hadoop/Spark

Il cluster HDInsight include spazio su disco predefinito in base allo SKU. Questo spazio potrebbe non essere sufficiente in scenari con processi di grandi dimensioni.

Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che verranno usati come directory locale di gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali dello strumento di gestione nodi.

Nota

I dischi aggiunti sono configurati solo per le directory locali di gestione nodi.

Per altre informazioni, vedere qui

2. Analisi della registrazione selettiva

Il sistema di monitoraggio Geneva usa mdsd (daemon di MDS), che è un agente di monitoraggio, e Fluentd per raccogliere i log usando un livello di registrazione unificato.
La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre nuove porta né modifica impostazioni di sicurezza esistenti, non ci sono modifiche alla sicurezza.
L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.

Per altre informazioni, vedere qui

Fisso

Log analytics

Come controllare la versione corrente di OMS

Accedere al cluster tramite SSH.
Nel client SSH eseguire il comando seguente.

sudo /opt/omi/bin/ominiserver/ --version

Screenshot che mostra come controllare l'aggiornamento di OMS.

Come aggiornare la versione di OMS da 13 a 14

Accedere al portale di Azure
Nel gruppo di risorse selezionare la risorsa cluster HDInsight
Selezionare Azioni script
Nel pannello Invia azione script scegliere il Tipo di script personalizzato
Incollare il collegamento seguente nella casella URL dello script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selezionare Tipi di nodo
Selezionare Crea.

Screenshot che mostra come eseguire l'aggiornamento di OMS.

Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Nel client SSH eseguire il comando seguente.

sudo /opt/omi/bin/ominiserver/ --version

Altre correzioni di bug

L'interfaccia della riga di comando dei log di Yarn non riusciva a recuperare i log in presenza di TFile danneggiati o vuoti.
Risoluzione di un errore di dettagli non validi dell'entità servizio durante il recupero del token OAuth da Azure Active Directory.
Miglioramento dell'affidabilità nella creazione del cluster quando sono configurati più di 100 nodi di lavoro.

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
Errore di compilazione Tez: FileSaver.js non trovato	TEZ-4411
Eccezione FS errato quando il warehouse e `scratchdir` si trovano in FS diversi	TEZ-4406
TezUtils.createConfFromByteString in configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf dovrebbe usare snappy anziché DeflaterOutputStream	TEZ-4113
Aggiornare la dipendenza protobuf a 3.x	TEZ-4363

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
Ottimizzazioni delle prestazioni nella generazione suddivisione ORC	HIVE-21457
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di suddivisione BI	HIVE-22582
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength	HIVE-23533
Vettorializzazione di OrcAcidRowBatchReader.computeOffset e ottimizzazione bucket	HIVE-17917

Problemi noti

Data di rilascio: 03/06/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che la versione venga rilasciata nella propria area per alcuni giorni.

Principali caratteristiche della versione

Hive Warehouse Connector (HWC) in Spark v3.1.2

Hive Warehouse Connector (HWC) consente di sfruttare le funzionalità esclusive di Hive e Spark per creare potenti applicazioni Big Data. HWC è attualmente supportato solo per Spark v2.4. Questa funzionalità aggiunge valore aziendale consentendo transazioni ACID nelle tabelle Hive tramite Spark. Questa funzionalità è utile per i clienti che usano sia Hive che Spark nel proprio patrimonio di dati. Per altre informazioni, vedere Apache Spark e Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs

Ambari

Modifiche al ridimensionamento e al provisioning
HDI Hive è ora compatibile con la versione del software open source 3.1.2

La versione 3.1 di HDI Hive è aggiornata alla versione del software open source Hive 3.1.2. Questa versione include tutte le correzioni e le funzionalità disponibili nella versione open source Hive 3.1.2.

Nota

Spark

Se si usa l'interfaccia utente di Azure per creare un cluster Spark per HDInsight, nell'elenco a discesa verrà visualizzata un'altra versione di Spark 3.1. (HDI 5.0) insieme alle versioni precedenti. Questa versione è una versione rinominata di Spark 3.1. (HDI 4.0). Si tratta solo di una modifica a livello di interfaccia utente, che non influisce in alcun modo sugli utenti esistenti e sugli utenti che usano già il modello di Resource Manager.

Screenshot di Spark 3.1 per HDI 5.0.

Nota

Interactive Query

Se si crea un cluster Interactive Query, nell'elenco a discesa verrà visualizzata un'altra versione denominata Interactive Query 3.1 (HDI 5.0).
Se si intende usare Spark 3.1 insieme a Hive, per cui è occorre il supporto ACID, è necessario selezionare la versione Interactive Query 3.1 (HDI 5.0).

Screenshot di Interactive Query 3.1 per HDI 5.0.

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
TezUtils.createConfFromByteString in configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf dovrebbe usare snappy anziché DeflaterOutputStream	TEZ-4113

Correzioni di bug di HBase

Correzioni di bug	Apache JIRA
TableSnapshotInputFormat deve usare ReadType.STREAM per l'analisi di `HFiles`	HBASE-26273
Aggiunta dell'opzione per disabilitare scanMetrics in TableSnapshotInputFormat	HBASE-26330
Correzione per ArrayIndexOutOfBoundsException quando viene eseguito il servizio di bilanciamento	HBASE-22739

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
NPE durante l'inserimento di dati con la clausola "distribute by" con ottimizzazione dell'ordinamento dynpart	HIVE-18284
Il comando MSCK REPAIR con filtro partizioni ha esito negativo durante l'eliminazione delle partizioni	HIVE-23851
Generazione di eccezione errata se capacity<=0	HIVE-25446
Supporto del caricamento parallelo per HastTables - Interfacce	HIVE-25583
Includere MultiDelimitSerDe in HiveServer2 per impostazione predefinita	HIVE-20619
Rimuovere le classi glassfish.jersey e mssql-jdbc dal JAR jdbc-standalone	HIVE-22134
Eccezione del puntatore Null in caso di compattazione in esecuzione su una tabella MM.	HIVE-21280
Le query Hive di dimensioni elevate tramite `knox` hanno esito negativo con errore Pipe interrotta (scrittura non riuscita)	HIVE-22231
Aggiunta della possibilità di impostare l'utente bind	HIVE-21009
Implementare una funzione definita dall'utente per interpretare i valori data/timestamp usando la relativa rappresentazione interna e il calendario ibrido gregoriano-giuliano	HIVE-22241
Opzione di Beeline per visualizzare/non visualizzare il report di esecuzione	HIVE-22204
Tez: SplitGenerator prova a cercare i file di piano, che non esistono per Tez	HIVE-22169
Rimuovere la registrazione dispendiosa dalla cache LLAP `hotpath`	HIVE-22168
Funzione definita dall'utente: FunctionRegistry si sincronizza con classe org.apache.hadoop.hive.ql.udf.UDFType	HIVE-22161
Impedire la creazione dell'appender di routing delle query se la proprietà è impostata su false	HIVE-22115
Rimuovere la sincronizzazione tra query per partition-eval	HIVE-22106
Ignorare la configurazione di directory dei file temporanei per Hive durante la pianificazione	HIVE-21182
Ignorare la creazione di directory dei file temporanei per Tez se RPC è attivo	HIVE-21171
Impostare le funzioni definite dall'utente di Hive per l'uso del motore regex `Re2J`	HIVE-19661
Le tabelle cluster di cui è stata eseguita la migrazione con bucketing_version 1 in Hive 3 usano bucketing_version 2 per gli inserimenti	HIVE-22429
Bucket: la versione 1 dell'inserimento in bucket erroneamente il partizionamento dei dati	HIVE-21167
Aggiunta dell'intestazione di licenza ASF al file appena aggiunto	HIVE-22498
Miglioramenti dello strumento dello schema a supporto di mergeCatalog	HIVE-22498
Hive con TEZ UNION ALL e UDTF comporta la perdita di dati	HIVE-21915
Dividere i file di testo anche se esiste un'intestazione o un piè di pagina	HIVE-21924
MultiDelimitSerDe restituisce risultati errati nell'ultima colonna quando il file caricato contiene più colonne di quelle presenti nello schema della tabella	HIVE-22360
Client esterno LLAP - È necessario ridurre il footprint di LlapBaseInputFormat#getSplits()	HIVE-22221
Il nome della colonna con parola chiave riservata non ha caratteri di escape quando una query che include un join su una tabella con colonna mask viene riscritta (Zoltan Matyus tramite Zoltan Haindrich)	HIVE-22208
Impedire l'arresto di LLAP con RuntimeException`AMReporter` correlata	HIVE-22113
Il driver del servizio di stato LLAP potrebbe rimanere bloccato con l'ID app Yarn errato	HIVE-21866
OperationManager.queryIdOperation non pulisce correttamente più queryId	HIVE-22275
Disattivare un gestore di nodi blocca il riavvio del servizio LLAP	HIVE-22219
StackOverflowError quando si elimina un numero elevato di partizioni	HIVE-15956
Il controllo dell'accesso non riesce quando viene rimossa una directory temporanea	HIVE-22273
Correzione di risultati errati/eccezione ArrayOutOfBound nei left outer join di mapping in condizioni limite specifiche	HIVE-22120
Rimuovere il tag di gestione della distribuzione da pom.xml	HIVE-19667
Il tempo di analisi può essere elevato se sono presenti sottoquery annidate in profondità	HIVE-21980
Per ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); le modifiche dell'attributo `TBL_TYPE` non vengono riglesse riflettono per il testo senza maiuscole	HIVE-20057
JDBC: HiveConnection oscura le interfacce `log4j`	HIVE-18874
Aggiornare gli URL del repository in `poms` - versione 3.1 del ramo	HIVE-21786
Test `DBInstall` non funzionanti su master e branch-3.1	HIVE-21758
Il caricamento dei dati in una tabella con bucket ignora le specifiche delle partizioni e carica i dati nella partizione predefinita	HIVE-21564
Le query con condizione di join con timestamp o timestamp con valore letterale del fuso orario locale generano una SemanticException	HIVE-21613
L'analisi delle statistiche di calcolo per le colonne lascia una directory di gestione temporanea in HDFS	HIVE-21342
Modifica incompatibile nel calcolo bucket Hive	HIVE-21376
Fornire un provider di autorizzazioni di fallback quando nessun altro provider di autorizzazioni è in uso	HIVE-20420
Alcune chiamate alterPartitions generano "NumberFormatException: null"	HIVE-18767
HiveServer2: in alcuni casi il soggetto preautenticato per il trasporto HTTP non viene conservato per l'intera durata della comunicazione HTTP	HIVE-20555

Data di rilascio: 10/03/2022

Le versioni del sistema operativo per questa versione sono:

HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 è ora disponibile a livello generale

Spark 3.1 è ora disponibile a livello generale nella versione HDInsight 4.0. Questa versione include

Esecuzione adattiva di query,
Conversione di merge join di ordinamento in hash join di trasmissione,
Spark Catalyst Optimizer,
Eliminazione dinamica delle partizioni,
I clienti potranno creare nuovi cluster Spark 3.1 e non cluster Spark 3.0 (anteprima).

Per altre informazioni, vedere Apache Spark 3.1 è ora disponibile a livello generale in HDInsight - Microsoft Tech Community.

Per un elenco completo dei miglioramenti, vedere le note sulla versione di Apache Spark 3.1.

Per altre informazioni sulla migrazione, vedere la guida alla migrazione.

Kafka 2.4 è ora disponibile a livello generale

Kafka 2.4.1 è ora disponibile a livello generale. Per altre informazioni, vedere le note sulla versione di Kafka 2.4.1. Altre funzionalità includono la disponibilità di MirrorMaker 2, una nuova categoria di metriche AtMinIsr per le partizioni dei topic, il miglioramento del tempo di avvio del broker attraverso mmap lazy su richiesta dei file di indice e un numero maggiore di metriche di consumer per osservare il comportamento di polling degli utenti.

Il tipo di dati Map in HWC è ora supportato in HDInsight 4.0

Questa versione include il supporto del tipo di dati Map per HWC 1.0 (Spark 2.4) tramite l'applicazione spark-shell e tutti gli altri client Spark supportati da HWC. Sono inclusi i miglioramenti seguenti, come per qualsiasi altro tipo di dati:

Un utente può

Creare una tabella Hive con qualsiasi colonna contenente il tipo di dati Map, inserirvi dati e leggere i risultati.
Creare un dataframe Apache Spark con tipo di mappa ed eseguire operazioni di lettura e scrittura in batch/flusso.

Nuove aree

HDInsight ha ampliato la sua presenza geografica a due nuove aree: Cina orientale 3 e Cina settentrionale 3.

Modifiche di backport del software open source

Backport del software open source inclusi in Hive, tra cui HWC 1.0 (Spark 2.4) che supporta il tipo di dati Map.

Di seguito sono riportati i problemi JIRA di Apache per backport del software open source di questa versione:

Funzionalità interessata	Apache JIRA
Le query SQL dirette del metastore con IN/(NOT IN) devono essere suddivise in base ai parametri massimi consentiti dal database SQL	HIVE-25659
Aggiornare `log4j` 2.16.0 alla versione 2.17.0	HIVE-25825
Aggiornare la versione di `Flatbuffer`	HIVE-22827
Supportare il tipo di dati Map in modo nativo in formato Arrow	HIVE-25553
Client esterno LLAP: gestire i valori annidati quando lo struct padre è Null	HIVE-25243
Aggiornare Arrow alla versione 0.11.0	HIVE-23987

Informativa sulle funzionalità deprecate

Set di scalabilità di macchine virtuali di Azure in HDInsight

HDInsight non userà più i set di scalabilità di macchine virtuali di Azure per effettuare il provisioning dei cluster. Non è prevista alcuna modifica che causa un'interruzione. I cluster HDInsight esistenti in set di scalabilità di macchine virtuali non subiscono alcun impatto, i nuovi cluster nelle immagini più recenti non useranno più i set di scalabilità di macchine virtuali.

Il ridimensionamento dei carichi di lavoro HBase di Azure HDInsight sarà ora supportato solo usando la scalabilità manuale

A partire dal 01 marzo 2022, HDInsight supporterà solo la scalabilità manuale per HBase, senza alcun impatto sui cluster in esecuzione. I nuovi cluster HBase non saranno in grado di abilitare la scalabilità automatica basata sulla pianificazione. Per altre informazioni su come ridimensionare manualmente i cluster HBase, vedere la documentazione relativa al ridimensionamento manuale dei cluster Azure HDInsight

Data di rilascio: 27/12/2021

Le versioni del sistema operativo per questa versione sono:

HDInsight 4.0: Ubuntu 18.04.5 LTS

L'immagine di HDInsight 4.0 è stata aggiornata per mitigare la vulnerabilità di Log4j, come descritto nella Risposta di Microsoft a CVE-2021-44228 Apache Log4j 2.

Nota

I cluster HDI 4.0 creati dopo le 00:00 UTC del 27 dicembre 2021 vengono creati con una versione aggiornata dell'immagine, che mitiga le vulnerabilità di log4j. Di conseguenza, i clienti non devono applicare patch o riavviare questi cluster.
Per i nuovi cluster HDInsight 4.0 creati tra il 16 dicembre 2021 alle 01:15 UTC e il 27 dicembre 2021 alle 00:00 UTC, in HDInsight 3.6 o nelle sottoscrizioni aggiunte dopo il 16 dicembre 2021 la patch viene applicata automaticamente entro l'ora in cui viene creato il cluster. Tuttavia i clienti devono riavviare i nodi per il completamento dell'applicazione della patch (ad eccezione dei nodi di gestione Kafka, che vengono riavviati automaticamente).

Data di rilascio: 27/07/2021

Questa versione si applica a HDInsight 3.6 e HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che la versione venga rilasciata nella propria area per alcuni giorni.

Le versioni del sistema operativo per questa versione sono:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nuove funzionalità

Il supporto di Azure HDInsight per la connettività pubblica con restrizioni è disponibile a livello generale dal 15 ottobre 2021

Azure HDInsight supporta ora la connettività pubblica con restrizioni in tutte le aree. Di seguito sono riportate alcune delle principali caratteristiche di questa funzionalità:

Possibilità di invertire la comunicazione tra provider di risorse e cluster in modo che sia in uscita dal cluster verso il provider di risorse
Supporto dell'uso di risorse abilitate per il collegamento privato (ad esempio archiviazione, SQL, Key Vault) per il cluster HDInsight in modo da accedere alle risorse solo tramite rete privata
Non viene effettuato il provisioning di indirizzi IP pubblici

Usando questa nuova funzionalità è anche possibile ignorare le regole dei tag del servizio del gruppo di sicurezza di rete (NSG) in ingresso per gli indirizzi IP di gestione di HDInsight. Altre informazioni sulla limitazione della connettività pubblica

Il supporto di Azure HDInsight per il collegamento privato di Azure è disponibile a livello generale dal 15 ottobre 2021

È ora possibile usare endpoint privati per connettersi ai cluster HDInsight tramite collegamento privato. Il collegamento privato può essere usato negli scenari tra reti virtuali in cui il peering reti virtuali non è disponibile o abilitato.

Collegamento privato di Azure consente di accedere ai servizi PaaS di Azure, ad esempio Archiviazione di Azure e Database SQL, nonché ai servizi di proprietà di clienti/partner ospitati in Azure tramite un endpoint privato nella rete virtuale.

Il traffico tra la rete virtuale e il servizio attraversa la rete del backbone Microsoft. L'esposizione del servizio sulla rete Internet pubblica non è più necessaria.

Per altre informazioni, vedere come abilitare il collegamento privato. 

Nuova esperienza di integrazione di Monitoraggio di Azure (anteprima)

La nuova esperienza di integrazione di Monitoraggio di Azure sarà disponibile in anteprima negli Stati Uniti orientali e nell'Europa occidentale con questa versione. Informazioni dettagliate sulla nuova esperienza di Monitoraggio di Azure sono disponibili qui.

Deprecazione

La versione 3.6 di HDInsight è deprecata a partire dal 01 ottobre 2022.

Modifiche del comportamento

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Man mano che gli scenari dei clienti si fanno più maturi e diversificati, sono state identificate alcune limitazioni relative alla scalabilità automatica basata sul carico di Interactive Query (LLAP). Queste limitazioni sono dovute alla natura della dinamica delle query LLAP, ai futuri problemi di accuratezza della stima del carico e ai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando è abilitata la scalabilità automatica. L'effetto sulle prestazioni può superare i vantaggi in termini di costi della scalabilità automatica.

A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Nei nuovi cluster Interactive Query non è più possibile abilitare la scalabilità automatica basata sul carico. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.

Microsoft consiglia di passare alla scalabilità automatica basata su pianificazione per LLAP. È possibile analizzare il modello di utilizzo corrente del cluster tramite il dashboard Hive Grafana. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Il componente LLAP predefinito nel cluster ESP Spark verrà rimosso

Il cluster ESP Spark di HDInsight 4.0 include componenti LLAP predefiniti in esecuzione in entrambi i nodi head. I componenti LLAP nel cluster ESP Spark sono stati originariamente aggiunti per Spark ESP di HDInsight 3.6, ma non hanno un caso d'uso reale per Spark ESP di HDInsight 4.0. Nella prossima versione, pianificata per settembre 2021, HDInsight rimuoverà il componente LLAP predefinito dal cluster ESP Spark di HDInsight 4.0. Questa modifica consente di eseguire l'offload del carico di lavoro del nodo head ed evitare confusione tra il tipo di cluster ESP Spark ed ESP Interactive Hive.

Nuova area

Stati Uniti occidentali 3
Jio India occidentale
Australia centrale

Modifica della versione dei componenti

In questa versione è stata modificata la versione del componente seguente:

Versione di ORC dalla 1.5.1 alla 1.5.9

Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Backport di JIRA

Di seguito sono riportati i problemi JIRA di Apache per backport di questa versione:

Funzionalità interessata	Apache JIRA
Date/Timestamp	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
Funzione definita dall'utente	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Schema della tabella	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Gestione del carico di lavoro	HIVE-24201
Compattazione	HIVE-24882
	HIVE-23058
	HIVE-23046
Vista materializzata	HIVE-22566

Correzione dei prezzi per le macchine virtuali HDInsight `Dv2`

Il 25 aprile 2021 è stato corretto un errore relativo ai prezzi per la serie di macchine virtuali Dv2 in HDInsight. L'errore relativo ai prezzi ha prodotto un addebito inferiore sulle fatture di alcuni clienti prima del 25 aprile. Con la correzione, i prezzi corrispondono ora a quelli annunciati nella pagina dei prezzi di HDInsight e nel calcolatore dei prezzi di HDInsight. L'errore relativo ai prezzi ha interessato i clienti che usavano macchine virtuali Dv2 nelle aree seguenti:

Canada centrale
Canada orientale
Asia orientale
Sudafrica settentrionale
Asia sud-orientale
Emirati Arabi Uniti centrali

A partire dal 25 aprile 2021, gli account riporteranno l'importo corretto per le macchine virtuali Dv2. Prima della modifica, notifiche per i clienti sono state inviate ai proprietari delle sottoscrizioni. È possibile usare il calcolatore prezzi, la pagina prezzi di HDInsight o il pannello Crea cluster HDInsight nel portale di Azure per visualizzare i costi corretti per le VM Dv2 nella propria area.

Non è richiesto alcun altro intervento. La correzione dei prezzi verrà applicata solo per l'utilizzo a partire dal giorno 25 aprile 2021 compreso nelle aree specificate e non per l'utilizzo anteriore a questa data. Per assicurarsi di avere la soluzione più efficiente e conveniente, è consigliabile rivedere i prezzi, la VCPU e la RAM per i cluster Dv2 e confrontare le specifiche delle VM Dv2 rispetto alle VM Ev3 per verificare se la soluzione trarrebbe vantaggio dall'uso di una delle serie di macchine virtuali più recenti.

Data di rilascio: 02/06/2021

Le versioni del sistema operativo per questa versione sono:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nuove funzionalità

Aggiornamento della versione del sistema operativo

Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiunge la fine del servizio (EOL) nell'aprile 2021. Con questa versione è stata avviata l'implementazione della nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04. I nuovi cluster HDInsight 4.0 creati vengono eseguiti in Ubuntu 18.04 per impostazione predefinita una volta disponibili. I cluster esistenti in Ubuntu 16.04 vengono eseguiti così come sono con il supporto completo.

HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Passerà al supporto Basic (dal supporto Standard) a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04, è necessario eseguire la migrazione dei cluster a HDInsight 4.0.

Se si vogliono spostare cluster HDInsight 4.0 esistenti in Ubuntu 18.04 è necessario eliminarli e ricrearli. Pianificare la creazione o la ricreazione dei cluster dopo la data di disponibilità del supporto di Ubuntu 18.04.

Dopo aver creato il nuovo cluster, è possibile connettersi tramite SSH al cluster ed eseguire sudo lsb_release -a per verificare che sia eseguito in Ubuntu 18.04. È consigliabile testare le applicazioni nelle sottoscrizioni di test prima di passare all'ambiente di produzione.

Ottimizzazioni del ridimensionamento nei cluster HBase con scritture accelerate

In HDInsight sono stati apportati miglioramenti e ottimizzazioni sul ridimensionamento per i cluster HBase con scritture accelerate. Altre informazioni sulle scritture accelerate di HBase.

Deprecazione

Nessuna deprecazione in questa versione.

Modifiche del comportamento

Disabilitare le dimensioni di VM Stardard_A5 come nodo head per HDInsight 4.0

Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Le dimensioni di VM Standard_A5 presentano problemi di affidabilità come nodo head per HDInsight 4.0. A partire da questa versione, i clienti non potranno creare nuovi cluster con dimensioni di VM Standard_A5 come nodo head. È possibile usare altre macchine virtuali a due core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. Per il nodo head è consigliabile usare una macchina virtuale con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

HDInsight sta eseguendo gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Le interfacce di rete delle macchine virtuali non sono più visibili ai clienti per i cluster che usano set di scalabilità di macchine virtuali di Azure.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.

La denominazione dell'host macchina virtuale verrà modificata il 1° luglio 2021

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio sta eseguendo gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Questa migrazione modificherà il formato FQDN del nome host del cluster e non ci sono garanzie che i numeri nel nome host saranno in sequenza. Per ottenere i nomi FQDN per ogni nodo, vedere Trovare i nomi host dei nodi del cluster.

Passaggio ai set di scalabilità di macchine virtuali di Azure

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i nuovi cluster HDInsight creati verranno eseguiti nei set di scalabilità di macchine virtuali senza bisogno di alcun intervento da parte dei clienti. Non è prevista alcuna modifica che causa un'interruzione.

Data di rilascio: 24/03/2021

Nuove funzionalità

Anteprima di Spark 3.0

HDInsight ha aggiunto il supporto di Spark 3.0.0 a HDInsight 4.0 come funzionalità di anteprima.

Anteprima di Kafka 2.4

HDInsight ha aggiunto il supporto di Kafka 2.4.1 a HDInsight 4.0 come funzionalità di anteprima.

Supporto della serie `Eav4`

In questa versione HDInsight ha aggiunto il supporto della serie Eav4.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio sta eseguendo gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i nuovi cluster HDInsight creati verranno eseguiti nei set di scalabilità di macchine virtuali senza bisogno di alcun intervento da parte dei clienti. Non è prevista alcuna modifica che causa un'interruzione.

Deprecazione

Nessuna deprecazione in questa versione.

Modifiche del comportamento

La versione predefinita del cluster è cambiata in 4.0

La versione predefinita del cluster HDInsight è cambiata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere le versioni supportate. Altre informazioni sulle novità di HDInsight 4.0.

Le dimensioni predefinite delle macchine virtuali del cluster sono cambiate in serie `Ev3`

Le dimensioni predefinite delle macchine virtuali del cluster sono cambiate da serie D a serie Ev3. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Man mano che gli scenari dei clienti si fanno più maturi e diversificati, sono state identificate alcune limitazioni relative alla scalabilità automatica basata sul carico di Interactive Query (LLAP). Queste limitazioni sono dovute alla natura della dinamica delle query LLAP, ai futuri problemi di accuratezza della stima del carico e ai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando è abilitata la scalabilità automatica. L'impatto sulle prestazioni può superare i vantaggi in termini di costi della scalabilità automatica.

Aggiornamento della versione del sistema operativo

I cluster HDInsight sono attualmente in esecuzione in Ubuntu 16.04 LTS. Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiungerà la fine del servizio (EOL) nell'aprile 2021. Avvieremo l'implementazione della nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04 a maggio 2021. I nuovi cluster HDInsight 4.0 creati verranno eseguiti in Ubuntu 18.04 per impostazione predefinita una volta disponibili. I cluster esistenti in Ubuntu 16.04 verranno eseguiti così come sono con il supporto completo.

HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Raggiungerà la fine del supporto tecnico Standard il 30 giugno 2021 e passerà al supporto Basic a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04 è necessario eseguire la migrazione dei cluster a HDInsight 4.0.

Se si vogliono spostare cluster esistenti in Ubuntu 18.04 è necessario eliminarli e ricrearli. Pianificare la creazione o la ricreazione del cluster dopo la disponibilità del supporto di Ubuntu 18.04. Quando la nuova immagine diventerà disponibile in tutte le aree invieremo un'altra notifica.

È consigliabile testare in anticipo le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali in una macchina virtuale Ubuntu 18.04. È possibile creare una macchina virtuale Ubuntu Linux nella versione 18.04-LTS, quindi creare e usare una coppia di chiavi SSH (Secure Shell) nella macchina virtuale per eseguire e testare le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali.

Disabilitare le dimensioni di VM Stardard_A5 come nodo head per HDInsight 4.0

Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Le dimensioni di VM Standard_A5 presentano problemi di affidabilità come nodo head per HDInsight 4.0. A partire dalla versione di maggio 2021, i clienti non potranno creare nuovi cluster con dimensioni della macchina virtuale Standard_A5 come nodo head. È possibile usare altre macchine virtuali a 2 core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. Per il nodo head è consigliabile una VM con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Aggiunta del supporto per Spark 3.0.0 e Kafka 2.4.1 come anteprima. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 05/02/2021

Nuove funzionalità

Supporto della serie Dav4

HDInsight ha aggiunto il supporto della serie Dav4 in questa versione. Altre informazioni sulla serie Dav4 sono disponibili qui.

Disponibilità generale del proxy REST Kafka

Il proxy REST Kafka consente di interagire con il cluster Kafka attraverso un'API REST tramite HTTPS. Il proxy REST Kafka è disponibile a livello generale a partire da questa versione. Altre informazioni sul proxy REST Kafka sono disponibili qui.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio sta eseguendo gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i nuovi cluster HDInsight creati verranno eseguiti nei set di scalabilità di macchine virtuali senza bisogno di alcun intervento da parte dei clienti. Non è prevista alcuna modifica che causa un'interruzione.

Deprecazione

Dimensioni di VM disabilitate

A partire dal 9 gennaio 2021, HDInsight impedirà a tutti i clienti la creazione di cluster con dimensioni delle macchine virtuali standard_A8, standard_A9, standard_A10 e standard_A11. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/del supporto.

Modifiche del comportamento

Modifica delle dimensioni predefinite delle macchine virtuali del cluster in serie `Ev3`

Le dimensioni predefinite delle macchine virtuali del cluster saranno modificate da serie D a serie Ev3. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

La versione predefinita del cluster verrà modificata in 4.0

A partire da febbraio 2021, la versione predefinita del cluster HDInsight verrà modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere le versioni supportate. Altre informazioni sulle novità di HDInsight 4.0.

Aggiornamento della versione del sistema operativo

HDInsight sta aggiornando la versione del sistema operativo da Ubuntu 16.04 a 18.04. L'aggiornamento verrà completato prima di aprile 2021.

Fine del supporto di HDInsight 3.6 il 30 giugno 2021

HDInsight 3.6 raggiungerà la fine del supporto. A partire dal 30 giugno 2021, i clienti non possono creare nuovi cluster HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/del supporto.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 18/11/2020

Nuove funzionalità

Rotazione automatica delle chiavi per la crittografia dei dati inattivi con chiave gestita dal cliente

A partire da questa versione, i clienti possono usare gli URL delle chiavi di crittografia senza versione di Azure Key Vault per la crittografia dei dati inattivi con chiave gestita dal cliente. HDInsight ruoterà automaticamente le chiavi quando scadono o vengono sostituite con nuove versioni. Altre informazioni sono disponibili qui.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

HDInsight in precedenza non supportava la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito sono le dimensioni di macchina virtuale A2_v2/A2, che vengono fornite gratuitamente. Da questa versione è possibile selezionare una macchina virtuale Zookeeper delle dimensioni più appropriate per il proprio scenario. I nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2 verranno addebitati. Le macchine virtuali A2_v2 e A2 sono ancora disponibili gratuitamente.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i nuovi cluster HDInsight creati verranno eseguiti nei set di scalabilità di macchine virtuali senza bisogno di alcun intervento da parte dei clienti. Non è prevista alcuna modifica che causa un'interruzione.

Deprecazione

Deprecazione del cluster ML Services di HDInsight 3.6

Il tipo di cluster ML Services di HDInsight 3.6 raggiungerà la fine del supporto il 31 dicembre 2020. I clienti non potranno creare nuovi cluster ML Services 3.6 dopo il 31 dicembre 2020. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.

Dimensioni di VM disabilitate

A partire dal 16 novembre 2020, HDInsight impedirà ai nuovi clienti la creazione di cluster con dimensioni delle macchine virtuali standard_A8, standard_A9, standard_A10 e standard_A11. I clienti esistenti che hanno usato queste dimensioni delle macchine virtuali negli ultimi tre mesi non saranno interessati. A partire dal 9 gennaio 2021, HDInsight impedirà a tutti i clienti la creazione di cluster con dimensioni delle macchine virtuali standard_A8, standard_A9, standard_A10 e standard_A11. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/del supporto.

Modifiche del comportamento

Aggiunta del controllo delle regole del gruppo di sicurezza di rete prima dell'operazione di ridimensionamento

HDInsight ha aggiunto il controllo dei gruppi di sicurezza di rete (NSG) e delle route definite dall'utente con l'operazione di ridimensionamento. La stessa convalida viene eseguita per il ridimensionamento dei cluster oltre che per la creazione. Questa convalida consente di evitare errori imprevedibili. Se la convalida non viene superata, il ridimensionamento ha esito negativo. Altre informazioni su come configurare correttamente gruppi di sicurezza di rete e route definite dall'utente, vedere Indirizzi IP di gestione di HDInsight.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 09/11/2020

Nuove funzionalità

Il broker di ID di HDInsight (HIB) è ora disponibile a livello generale

Il broker di ID di HDInsight (HIB) che abilita l'autenticazione OAuth per i cluster ESP è ora disponibile a livello generale con questa versione. I cluster HIB creati dopo questa versione avranno le funzionalità HIB più recenti:

Disponibilità elevata
Supporto dell'autenticazione a più fattori (MFA)
Gli utenti federati accedono senza sincronizzazione dell'hash delle password con AAD-DS Per altre informazioni, vedere la documentazione di HIB.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Deprecazione del cluster ML Services di HDInsight 3.6

Dimensioni di VM disabilitate

Modifiche del comportamento

Nessuna modifica funzionale per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito sono le dimensioni di macchina virtuale A2_v2/A2, che vengono fornite gratuitamente. Nella prossima versione sarà possibile selezionare una macchina virtuale Zookeeper delle dimensioni più appropriate per il proprio scenario. I nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2 verranno addebitati. Le macchine virtuali A2_v2 e A2 sono ancora disponibili gratuitamente.

La versione predefinita del cluster verrà modificata in 4.0

Fine del supporto di HDInsight 3.6 il 30 giugno 2021

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Correzione del problema di riavvio delle macchine virtuali nel cluster

Il problema di riavvio delle macchine virtuali nel cluster è stato risolto, è di nuovo possibile usare PowerShell o l'API REST per riavviare i nodi nel cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 08/10/2020

Nuove funzionalità

Cluster privati HDInsight senza indirizzo IP pubblico e con collegamento privato (anteprima)

Ora HDInsight supporta la creazione di cluster senza IP pubblico e con accesso tramite collegamento privato ai cluster, in anteprima. I clienti possono usare le nuove impostazioni di rete avanzate per creare un cluster completamente isolato senza IP pubblico e usare i propri endpoint privati per accedere al cluster.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Deprecazione del cluster ML Services di HDInsight 3.6

Il tipo di cluster ML Services di HDInsight 3.6 raggiungerà la fine del supporto il 31 dicembre 2020. Dopo tale data, i clienti non potranno creare nuovi cluster ML Services 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.

Modifiche del comportamento

Nessuna modifica funzionale per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 28/09/2020

Nuove funzionalità

La scalabilità automatica per Interactive Query con HDInsight 4.0 è ora disponibile a livello generale

La scalabilità automatica per il tipo di cluster Interactive Query è ora disponibile a livello generale per HDInsight 4.0. Tutti i cluster Interactive Query 4.0 creati dopo il 27 agosto 2020 avranno il supporto in disponibilità generale per la scalabilità automatica.

Il cluster HBase supporta ADLS Gen2 Premium

HDInsight supporta ora ADLS Gen2 Premium come account di archiviazione primario per i cluster HDInsight HBase 3.6 e 4.0. Insieme alle scritture accelerate, questo consente di ottenere prestazioni migliori per i cluster HBase.

Distribuzione delle partizioni Kafka nei domini di errore di Azure

Un dominio di errore è un raggruppamento logico dell'hardware sottostante in un data center di Azure. Ogni dominio di errore condivide una fonte di alimentazione e un commutatore di rete comuni. In precedenza HDInsight Kafka poteva archiviare tutte le repliche di partizione nello stesso dominio di errore. A partire da questa versione, HDInsight supporta la distribuzione automatica delle partizioni di Kafka in base ai domini di errore di Azure.

Crittografia dei dati in transito

I clienti possono abilitare la crittografia in transito tra i nodi del cluster usando la crittografia IPSec con chiavi gestite dalla piattaforma. Questa opzione può essere abilitata al momento della creazione del cluster. Vedere altri dettagli su come abilitare la crittografia in transito.

Crittografia a livello di host

Quando si abilita la crittografia nell'host, i dati archiviati nell'host della macchina virtuale vengono crittografati quando inattivi e i flussi vengono crittografati nel servizio di archiviazione. In questa versione è possibile abilitare la crittografia nell'host nel disco dati temporaneo durante la creazione del cluster. La crittografia nell'host è supportata solo in determinati SKU di macchine virtuali in aree limitate. HDInsight supporta la configurazione del nodo e gli SKU seguenti. Vedere altri dettagli su come abilitare la crittografia nell'host.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Nessuna deprecazione per questa versione.

Modifiche del comportamento

Nessuna modifica funzionale per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diversi SKU di Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la modifica dello SKU di Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa lo SKU A2_v2/A2 per i nodi Zookeeper e ai clienti non vengono addebitati costi. Nella prossima versione i clienti possono modificare lo SKU di Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 09/08/2020

Questa versione si applica solo a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che la versione venga rilasciata nella propria area per alcuni giorni.

Nuove funzionalità

Supporto per SparkCruise

SparkCruise è un sistema di riutilizzo automatico del calcolo per Spark. Seleziona sottoespressioni comuni da materializzare in base al carico di lavoro di query precedente. SparkCruise materializza queste sottoespressioni durante l'elaborazione delle query e il riutilizzo del calcolo viene applicato automaticamente in background. È possibile usufruire di SparkCruise senza apportare modifiche al codice Spark.

Supporto della vista Hive per HDInsight 4.0

La vista Hive di Apache Ambari è progettata per creare, ottimizzare ed eseguire facilmente query Hive dal Web browser. La vista Hive è supportata in modo nativo per i cluster HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la vista Hive predefinita.

Supporto della vista Tez per HDInsight 4.0

La vista Apache Tez viene usata per tenere traccia ed eseguire il debug dell'esecuzione del processo Hive Tez. La vista Tez è supportata in modo nativo per HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la vista Tez predefinita.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 su HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 su HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Modifiche del comportamento

Modifica della versione dello stack Ambari

In questa versione, la versione di Ambari cambia da 2.x.x.x a 4.1. È possibile verificare la versione dello stack (HDInsight 4.1) in Ambari: Ambari >Utente > Versioni.

Modifiche imminenti

Nessuna imminente modifica che causa un'interruzione a cui occorra prestare attenzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Backport dei problemi JIRA seguenti per Hive:

Backport dei problemi JIRA seguenti per HBase:

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Problemi noti

È stato risolto un problema nel portale di Azure per cui gli utenti riscontravano un errore durante la creazione di un cluster di Azure HDInsight tramite un tipo di autenticazione SSH della chiave pubblica. Facendo clic su Rivedi e crea, gli utenti visualizzavano l'errore "Non deve contenere alcuna sequenza di tre caratteri consecutivi del nome utente SSH". Questo problema è stato risolto, ma potrebbe essere necessario aggiornare la cache del browser premendo CTRL+F5 per caricare la vista corretta. La soluzione alternativa a questo problema consiste nel creare un cluster con un modello di Resource Manager.

Data di rilascio: 13/07/2020

Questa versione è valida per HDInsight 3.6 e 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che la versione venga rilasciata nella propria area per alcuni giorni.

Nuove funzionalità

Supporto di Customer Lockbox per Microsoft Azure

Azure HDInsight supporta ora Customer Lockbox di Azure. Fornisce un'interfaccia per la revisione e l'approvazione oppure il rifiuto delle richieste di accesso ai dati da parte dei clienti. Viene usato nei casi in cui un tecnico Microsoft deve accedere ai dati dei clienti durante una richiesta di supporto. Per altre informazioni, vedere Customer Lockbox per Microsoft Azure.

Criteri per gli endpoint servizio per l'archiviazione

I clienti possono ora usare i criteri per gli endpoint servizio nella subnet del cluster HDInsight. Altre informazioni sui criteri per gli endpoint servizio.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

Modifiche del comportamento

Nessuna modifica funzionale a cui è necessario prestare attenzione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diversi SKU di Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la modifica dello SKU di Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa lo SKU A2_v2/A2 per i nodi Zookeeper e ai clienti non vengono addebitati costi. Nella prossima versione i clienti potranno modificare lo SKU di Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Correzione del problema di Hive Warehouse Connector

Nella versione precedente c'era un problema di usabilità di Hive Warehouse Connector. Il problema è stato risolto.

Correzione del problema relativo agli zeri iniziali troncati del notebook Zeppelin

Zeppelin troncava erroneamente gli zeri iniziali nell'output della tabella per il formato stringa. Il problema è stato risolto in questa versione.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le attuali versioni dei componenti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento.

Data di rilascio: 11/06/2020

Nuove funzionalità

Passaggio a set di scalabilità di macchine virtuali

Ora HDInsight usa macchine virtuali di Azure per eseguire il provisioning del cluster. Da questa versione, i cluster HDInsight creati iniziano a usare il set di scalabilità di macchine virtuali di Azure. La modifica viene implementata gradualmente. Non è prevista alcuna modifica che causa un'interruzione. Leggere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Riavvio delle macchine virtuali nel cluster HDInsight

In questa versione è supportato il riavvio delle macchine virtuali nel cluster HDInsight per riavviare i nodi che non rispondono. Attualmente è possibile farlo solo tramite API, il supporto di PowerShell e dell'interfaccia della riga di comando è in arrivo. Per altre informazioni sull'API, vedere questo documento.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

Modifiche del comportamento

Modifica delle dimensioni del nodo head del cluster ESP Spark

Le dimensioni minime del nodo head consentite per il cluster ESP Spark sono cambiate in Standard_D13_V2. Le macchine virtuali con pochi core e poca memoria come nodo head potrebbero causare problemi del cluster ESP a causa della capacità di CPU e memoria relativamente bassa. A partire da questa versione, usare SKU superiori a Standard_D13_V2 e Standard_E16_V3 come nodo head per i cluster Spark ESP.

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight. A partire dal 6 aprile 2020, i clienti possono scegliere solo macchine virtuali con 4 core o più come nodo head per i nuovi cluster HDInsight. I cluster esistenti continueranno a funzionare come previsto.

Modifica del provisioning dei nodi di lavoro del cluster

Quando l'80% dei nodi di lavoro è pronto, il cluster entra in fase operativa. In questa fase i clienti possono eseguire tutte le operazioni del piano dati, ad esempio l'esecuzione di script e processi. Tuttavia, i clienti non possono eseguire alcuna operazione del piano di controllo, ad esempio l'aumento/riduzione. È supportata solo l'eliminazione.

Dopo la fase operativa, il cluster attende altri 60 minuti per il 20% rimanente dei nodi di lavoro. Alla fine di questo periodo di 60 minuti, il cluster passa alla fase di esecuzione, anche se non tutti i nodi di lavoro sono ancora disponibili. Quando un cluster entra nella fase di esecuzione, è possibile usarlo come di consueto. Vengono accettate sia le operazioni del piano di controllo, ad esempio l'aumento/riduzione delle prestazioni, sia le operazioni del piano dati, come l'esecuzione di script e processi. Se alcuni dei nodi di lavoro richiesti non sono disponibili, il cluster verrà contrassegnato con l'indicazione di operazione riuscita parzialmente. Vengono addebitati i costi per i nodi distribuiti correttamente.

Creazione di una nuova entità servizio tramite HDInsight

Nelle versioni precedenti, con la creazione del cluster i clienti possono creare una nuova entità servizio per accedere all'account ADLS Gen 1 connesso nel portale di Azure. A partire dal 15 giugno 2020, la creazione di una nuova entità servizio non è possibile nel flusso di lavoro di creazione di HDInsight ed è supportata solo l'entità servizio esistente. Vedere Creare un'entità servizio e certificati con Azure Active Directory.

Timeout per le azioni script con la creazione del cluster

HDInsight supporta l'esecuzione di azioni script con la creazione del cluster. Da questa versione, tutte le azioni script con la creazione del cluster devono essere completate entro 60 minuti o raggiungono il timeout. Le azioni script inviate ai cluster in esecuzione non sono interessate. Altre informazioni sono disponibili qui.

Modifiche imminenti

Nessuna imminente modifica che causa un'interruzione a cui occorra prestare attenzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

HBase da 2.0 a 2.1.6

Aggiornamento di HBase dalla versione 2.0 alla versione 2.1.6.

Spark da 2.4.0 a 2.4.4

Aggiornamento di Spark dalla versione 2.4.0 alla versione2.4.4.

Kafka da 2.1.0 a 2.1.1

Aggiornamento di Kafka dalla versione 2.1.0 alla versione 2.1.1.

Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono disponibili in questo documento

Problemi noti

Problema di Hive Warehouse Connector

In questa versione c'è un problema relativo a Hive Warehouse Connector. La correzione verrà inclusa nella prossima versione. I cluster esistenti creati prima di questa versione non sono interessati. Evitare di eliminare e ricreare il cluster, se possibile. Aprire un ticket di supporto se è necessaria ulteriore assistenza.

Data di rilascio: 09/01/2020

Nuove funzionalità

Imposizione di TLS 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Altre informazioni su TLS. HDInsight usa TLS 1.2 sugli endpoint HTTPS pubblici, ma TLS 1.1 è ancora supportato per la compatibilità con le versioni precedenti.

Con questa versione, i clienti possono scegliere TLS 1.2 solo per tutte le connessioni tramite l'endpoint del cluster pubblico. Per supportare questa operazione, è stata introdotta la nuova proprietà minSupportedTlsVersion, che può essere specificata durante la creazione del cluster. Se la proprietà non è impostata, il cluster supporterà comunque TLS 1.0, 1.1 e 1.2, come avviene attualmente. I clienti possono impostare il valore di questa proprietà su "1.2", il che significa che il cluster supporterà solo TLS 1.2 e versioni successive. Per altre informazioni, vedere Transport Layer Security.

Bring your own key per la crittografia su disco

Tutti i dischi gestiti in HDInsight sono protetti con Crittografia del servizio di archiviazione di Azure. Per impostazione predefinita, i dati su tali dischi vengono crittografati usando chiavi gestite da Microsoft. A partire da questa versione, è possibile usare Bring Your Own Key (BYOK) per la crittografia del disco e gestirla con Azure Key Vault. La crittografia BYOK è un processo di configurazione costituito da un singolo passaggio durante la creazione del cluster senza altri costi. È sufficiente registrare HDInsight come identità gestita con Azure Key Vault e aggiungere la chiave di crittografia quando si crea il cluster. Per altre informazioni, vedere Crittografia dischi con chiavi gestite dal cliente.

Deprecazione

Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione. Per prepararsi a modifiche future, vedere Prossime modifiche.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

HBase da 2.0 a 2.1.6

Nella prossima release di HDInsight 4.0, la versione di HBase verrà aggiornata dalla 2.0 alla 2.1.6

Spark da 2.4.0 a 2.4.4

Nella prossima release di HDInsight 4.0, la versione di Spark verrà aggiornata dalla 2.4.0 alla 2.4.4

Kafka da 2.1.0 a 2.1.1

Nella prossima release di HDInsight 4.0, la versione di Kafka verrà aggiornata dalla 2.1.0 alla 2.1.1

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core

Modifica delle dimensioni del nodo del cluster ESP Spark

Nella prossima release, le dimensioni minime del nodo consentite per il cluster ESP Spark verranno modificate in Standard_D13_V2. Le macchine virtuali della serie A possono causare problemi con il cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Le macchine virtuali della serie A saranno deprecate per la creazione di nuovi cluster ESP.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Nella prossima release, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono consultabili qui.

Data di rilascio: 17/12/2019

Questa versione è valida per HDInsight 3.6 e 4.0.

Nuove funzionalità

Tag di servizio

I tag del servizio semplificano la sicurezza per le macchine virtuali di Azure e le reti virtuali di Azure, consentendo di limitare facilmente l'accesso di rete ai servizi di Azure. È possibile usare i tag del servizio nelle regole del gruppo di sicurezza di rete (NSG) per consentire o negare il traffico verso uno specifico servizio di Azure a livello globale o per area di Azure. La gestione degli indirizzi IP per ogni tag viene eseguita da Azure. I tag del servizio HDInsight per i gruppi di sicurezza di rete (NSG) sono gruppi di indirizzi IP per i servizi di integrità e gestione. Questi gruppi consentono di ridurre al minimo la complessità per la creazione delle regole di sicurezza. I clienti di HDInsight possono abilitare i tag del servizio tramite il portale di Azure, PowerShell e l'API REST. Per altre informazioni, vedere Tag del servizio del gruppo di sicurezza di rete (NSG) per Azure HDInsight.

Database Ambari personalizzato

HDInsight consente ora di usare il proprio database SQL per Apache Ambari. È possibile configurare questo database Ambari personalizzato dal portale di Azure o tramite un modello di Resource Manager. Questa funzionalità consente di scegliere il database SQL appropriato per le proprie esigenze di elaborazione e capacità. È anche possibile eseguire facilmente l'aggiornamento per soddisfare i requisiti di crescita aziendale. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.

Database Ambari personalizzato.

Deprecazione

Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione. Per prepararsi per le future modifiche funzionali, vedere Modifiche imminenti.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Imposizione di TLS (Transport Layer Security) 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Per altre informazioni, vedere Transport Layer Security. Mentre i cluster Azure HDInsight accettano connessioni TLS 1.2 su endpoint HTTPS pubblici, TLS 1.1 è ancora supportato per compatibilità con le versioni precedenti per i client meno recenti.

A partire dalla prossima versione, sarà possibile acconsentire esplicitamente e configurare i nuovi cluster HDInsight in modo da accettare solo connessioni TLS 1.2.

Più avanti nell'anno, a partire dal 30/6/2020, Azure HDInsight imporrà l'uso di TLS 1.2 o versioni successive per tutte le connessioni HTTPS. Ti consigliamo di assicurarti che tutti i client siano pronti per gestire TLS 1.2 o versioni successive.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da febbraio 2020 (la data esatta verrà comunicata in un secondo momento), HDInsight userà invece i set di scalabilità di macchine virtuali di Azure. Leggere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Modifica delle dimensioni del nodo del cluster ESP Spark

Nella prossima versione:

Le dimensioni minime del nodo consentite per il cluster ESP Spark verranno modificate in Standard_D13_V2.
Le macchine virtuali serie A saranno deprecate per la creazione di nuovi cluster ESP, in quanto potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa.

HBase da 2.0 a 2.1

Nella prossima release di HDInsight 4.0, la versione di HBase verrà aggiornata dalla 2.0 alla 2.1.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Il supporto di HDInsight 3.6 è stato esteso al 31 dicembre 2020. Per altri dettagli, vedere Versioni supportate di HDInsight.

Nessuna modifica della versione dei componenti per HDInsight 4.0.

Apache Zeppelin in HDInsight 3.6: 0.7.0-->0.7.3.

In questo documento sono elencate le versioni dei componenti più aggiornate.

Nuove aree

Emirati Arabi Uniti settentrionali

Gli indirizzi IP di gestione degli Emirati Arabi Uniti settentrionali sono: 65.52.252.96 e 65.52.252.97.

Data di rilascio: 07/11/2019

Questa versione è valida per HDInsight 3.6 e 4.0.

Nuove funzionalità

Broker di ID di HDInsight (HIB) (anteprima)

Il broker di ID di HDInsight (HIB) consente agli utenti di accedere ad Apache Ambari usando l'autenticazione a più fattori (MFA) e ottenere i ticket Kerberos necessari senza bisogno di hash delle password in Azure Active Directory Domain Services (AAD-DS). Attualmente HIB è disponibile solo per i cluster distribuiti tramite un modello di Azure Resource Management (ARM).

Proxy dell'API REST Kafka (anteprima)

Il proxy dell'API REST Kafka offre una distribuzione con un clic del proxy REST a disponibilità elevata con il cluster Kafka tramite l'autorizzazione di Azure AD protetta e il protocollo OAuth.

Scalabilità automatica

La scalabilità automatica per Azure HDInsight è ora disponibile a livello generale in tutte le aree per i tipi di cluster Apache Spark e Hadoop. Questa funzionalità consente di gestire i carichi di lavoro di analisi dei Big Data in modo più conveniente e produttivo. È ora possibile ottimizzare l'uso dei cluster HDInsight e pagare solo per le risorse necessarie.

In base ai requisiti specifici, puoi scegliere tra la scalabilità automatica basata su carico e basata su pianificazione. La scalabilità automatica basata sul carico consente di aumentare e ridurre le dimensioni del cluster in base alle esigenze di risorse correnti, mentre la scalabilità automatica basata sulla pianificazione può modificare le dimensioni del cluster in base a una pianificazione predefinita.

Anche il supporto della scalabilità automatica per il carico di lavoro HBase e LLAP è disponibile in anteprima pubblica. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.

Scritture accelerate di Azure HDInsight per Apache HBase

Le scritture accelerate usano dischi SSD gestiti Premium di Azure per migliorare le prestazioni del log WAL di Apache HBase. Per altre informazioni, vedere Scritture accelerate di Azure HDInsight per Apache HBase.

Database Ambari personalizzato

HDInsight offre ora una nuova capacità per consentire ai clienti di usare il proprio database SQL per Ambari. Ora i clienti possono scegliere il database SQL appropriato per Ambari e aggiornarlo facilmente in base ai propri requisito di crescita aziendale. La distribuzione viene eseguita con un modello di Azure Resource Manager. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.

Le macchine virtuali serie F sono ora disponibili con HDInsight

Le macchine virtuali (VM) serie F sono una buona scelta per iniziare a usare HDInsight con requisiti di elaborazione leggeri. Con un prezzo di listino orario più basso, la serie F presenta il miglior rapporto prezzo-prestazioni nel portfolio Azure basato sull'unità di calcolo di Azure (ACU, Azure Compute Unit) per ogni vCPU. Per altre informazioni, vedere Selezione delle dimensioni della macchina virtuale appropriate per il cluster Azure HDInsight.

Deprecazione

Deprecazione delle macchine virtuali serie G

Da questa versione, le macchine virtuali serie G non sono più disponibili in HDInsight.

Deprecazione delle macchine virtuali `Dv1`

Da questa versione, l'uso delle VM Dv1 con HDInsight è deprecato. Qualsiasi richiesta dei clienti per Dv1 sarà soddisfatta automaticamente con Dv2. Non esiste alcuna differenza di prezzo tra le VM Dv1 e Dv2.

Modifiche del comportamento

Modifica delle dimensioni del disco gestito del cluster

HDInsight offre spazio su disco gestito con il cluster. Da questa versione, le dimensioni del disco gestito di ogni nodo di un nuovo cluster creato passano a 128 GB.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da dicembre, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Leggere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

HBase da 2.0 a 2.1

Nella prossima release di HDInsight 4.0, la versione di HBase verrà aggiornata dalla 2.0 alla 2.1.

Deprecazione delle macchine virtuali serie A per il cluster ESP

Le macchine virtuali della serie A possono causare problemi con il cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Nella prossima versione, le macchine virtuali della serie A saranno deprecate per la creazione di nuovi cluster ESP.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono consultabili qui.

Data di rilascio: 07/08/2019

Versioni dei componenti

Di seguito sono elencate le versioni Apache ufficiali di tutti i componenti di HDInsight 4.0. I componenti elencati sono le versioni stabili più recenti disponibili.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Le versioni successive dei componenti di Apache vengono talvolta aggregate nella distribuzione HDP in aggiunta alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Anteprime tecniche e non dovrebbero sostituire le versioni del componente Apache dell'elenco precedente in un ambiente di produzione.

Informazioni sulle patch di Apache

Per altre informazioni sulle patch disponibili in HDInsight 4.0, vedere l'elenco delle patch per ogni prodotto nella tabella seguente.

Nome prodotto	Informazioni sulle patch
Ambari	Informazioni sulle patch di Ambari
Hadoop	Informazioni sulle patch di Hadoop
HBase	Informazioni sulle patch di HBase
Hive	Questa versione fornisce Hive 3.1.0 senza altre patch di Apache.
Kafka	Questa versione fornisce Kafka 1.1.1 senza altre patch di Apache.
Oozie	Informazioni sulle patch di Oozie
Phoenix	Informazioni sulle patch di Phoenix
Pig	Informazioni sulle patch di Pig
Ranger	Informazioni sulle patch di Ranger
Spark	Informazioni sulle patch di Spark
Sqoop	Questa versione fornisce Sqoop 1.4.7 senza altre patch di Apache.
Tez	Questa versione fornisce Tez 0.9.1 senza altre patch di Apache.
Zeppelin	Questa versione fornisce Zeppelin 0.8.0 senza altre patch di Apache.
Zookeeper	Informazioni sulle patch di Zookeeper

Vulnerabilità comuni ed esposizioni risolte

Per altre informazioni sui problemi di sicurezza risolti in questa versione, vedere le vulnerabilità ed esposizioni comuni corrette per HDP 3.0.1 di Hortonworks.

Problemi noti

Replica incompleta di Secure HBase con l'installazione predefinita

Per HDInsight 4.0, seguire questa procedura:

Abilitare la comunicazione tra cluster.
Accedere al nodo head attivo.

Scaricare uno script per abilitare la replica con il comando seguente:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digitare il comando sudo kinit <domainuser>.

Eseguire il comando seguente per eseguire lo script:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Per HDInsight 3.6

Accedere a HMaster ZK attivo.

Scaricare uno script per abilitare la replica con il comando seguente:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digitare il comando sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Digitare il comando seguente:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline smette di funzionare dopo la migrazione del cluster HBase a HDInsight 4.0

Effettua i passaggi seguenti:

Eliminare le tabelle Phoenix seguenti:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Se non è possibile eliminare alcune delle tabelle, riavviare HBase per cancellare le connessioni alle tabelle.
Eseguire di nuovo sqlline.py. Phoenix creerà di nuovo tutte le tabelle eliminate nel passaggio 1.
Rigenerare le viste e le tabelle Phoenix per i dati HBase.

Phoenix Sqlline smette di funzionare dopo la replica dei metadati di HBase Phoenix da HDInsight 3.6 a 4.0

Effettua i passaggi seguenti:

Prima di eseguire la replica, passare al cluster 4.0 di destinazione ed eseguire sqlline.py. Questo comando genererà tabelle Phoenix come SYSTEM.MUTEX e SYSTEM.LOG che esistono solo nella versione 4.0.
Eliminare le tabelle seguenti:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Avviare la replica HBase

Deprecazione

Apache Storm e ML Services non sono disponibili in HDInsight 4.0.

Data di rilascio: 14/04/2019

Nuove funzionalità

Le funzionalità e i nuovi aggiornamenti rientrano nelle seguenti categorie:

Aggiornamento di Hadoop e altri progetti open source: oltre alla correzione di più di un migliaio di bug in oltre 20 progetti open source, questo aggiornamento contiene una nuova versione di Spark, la 2.3, e di Kafka, la 1.0.

a. Nuove funzionalità di Apache Spark 2.3

b. Nuove funzionalità di Apache Kafka 1.0
Aggiornamento di R Server 9.1 a Machine Learning Services 9.3: con questa versione vengono offerti a tecnici e scienziati dei dati i migliori progetti open source, ottimizzati con innovazioni degli algoritmi e operazionalizzazione semplificata, tutti disponibili nella loro lingua preferita, con la velocità di Apache Spark. Questa versione amplia le funzionalità offerte da R Server con supporto aggiuntivo per Python, con conseguente modifica del nome del cluster da R Server a Machine Learning Services.
Supporto per l'archiviazione di Azure Data Lake Gen2: HDInsight supporterà la versione di anteprima dell'archiviazione di Azure Data Lake Gen2. Nelle aree disponibili i clienti potranno scegliere un account di ADLS Gen2 come archivio Primario o Secondario per i cluster HDInsight.
Aggiornamenti di HDInsight Enterprise Security Package (anteprima): supporto degli endpoint servizio di rete virtuale per Archiviazione BLOB di Azure, ADLS Gen1, Cosmos DB e database di Azure.

Versioni dei componenti

Di seguito sono elencate le versioni Apache ufficiali di tutti i componenti di HDInsight 3.6. Tutti i componenti elencati di seguito sono le versioni stabili ufficiali più recenti disponibili di Apache.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ-0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Le versioni successive di alcuni componenti di Apache vengono talvolta aggregate nella distribuzione HDP in aggiunta alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Anteprime tecniche e non dovrebbero sostituire le versioni del componente Apache dell'elenco precedente in un ambiente di produzione.

Informazioni sulle patch di Apache

Hadoop

Questa versione fornisce Hadoop Common 2.7.3 e le patch di Apache seguenti:

HADOOP-13190: riferimento a LoadBalancingKMSClientProvider nella documentazione del server di gestione delle chiavi a disponibilità elevata.
HADOOP-13227: AsyncCallHandler deve usare un'architettura basata sugli eventi per gestire le chiamate asincrone.
HADOOP-14104: il client deve richiedere sempre namenode per il percorso del provider del server di gestione delle chiavi.
HADOOP-14799: aggiornamento di nimbus-jose-jwt alla versione 4.41.1.
HADOOP-14814: correzione modifica API non compatibile su FsServerDefaults in HADOOP-14104.
HADOOP-14903: aggiunto json-smart in modo esplicito a POM.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0.
HADOOP-15255: supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping.
HADOOP-15265: esclusione in modo esplicito di json-smart da hadoop-auth pom.xm.
HDFS-7922: ShortCircuitCache#close non rilascia ScheduledThreadPoolExecutors.
HDFS-8496: la chiamata a stopWriter() con mantenimento del blocco FSDatasetImpl potrebbe bloccare altri thread (cmccabe).
HDFS-10267: "sincronizzazione" extra su FsDatasetImpl#recoverAppend e FsDatasetImpl#recoverClose.
HDFS 10489: impostazione come deprecato di dfs.encryption.key.provider.uri per le zone di crittografia di Hadoop Distributed File System.
HDFS 11384: aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode.
HDFS-11689: nuova eccezione generata da DFSClient%isHDFSEncryptionEnabled interrompe il codice Hive hacky.
HDFS-11711: il nome di dominio non dovrebbe eliminare il blocco sull'eccezione "Troppi file aperti".
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay ha spesso esito negativo.
HDFS-12781: dopo la chiusura di Datanode, la scheda Namenode dell'interfaccia utente di Datanode sta generando un messaggio di avviso.
HDFS-13054: gestione di PathIsNotEmptyDirectoryException nella chiamata di eliminazione DFSClient.
HDFS 13120: l'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione.
YARN-3742: YARN RM verrà arrestato in caso di timeout durante la creazione di ZKClient.
YARN 6061: aggiunta di UncaughtExceptionHandler per thread critici in RM.
YARN 7558: il comando per i log YARN non è in grado di ottenere i log per i contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente.
YARN 7697: il recupero dei log per l'applicazione terminata ha esito negativo anche se l'aggregazione dei log è stata completata.

HDP 2.6.4 ha fornito Hadoop Common 2.7.3 e le patch di Apache seguenti:

HADOOP-13700: rimozione di IOException non generata dalle firme TrashPolicy#initialize e #getInstance.
HADOOP-13709: possibilità di eseguire la pulizia dei sotto processi generati da Shell quando il processo viene chiuso.
HADOOP-14059: errore di digitazione nel messaggio di errore s3a rename(self, subdir).
HADOOP-14542: aggiunta di IOUtils.cleanupWithLogger che accetta l'API logger slf4j.
HDFS 9887: i timeout del socket WebHdfs devono essere configurabili.
HDFS 9914: correzione del timeout configurabile di connessione/lettura WebhDFS.
MAPREDUCE 6698: aumento del timeout su TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN 4550: alcuni test in TestContainerLanch hanno esito negativo in un ambiente di impostazioni locali non in lingua inglese.
YARN 4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir ha esito negativo in modo intermittente a causa di IllegalArgumentException dalla pulizia.
YARN 5042: montaggio di /sys/fs/cgroup nei contenitori Docker come montaggio di sola lettura.
YARN-5318: correzione di errori di test intermittenti di TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN 5641: il localizzatore lascia i file tarball dopo il completamento del contenitore.
YARN-6004: refactoring di TestResourceLocalizationService#testDownloadingResourcesOnContainer in modo che sia inferiore a 150 righe.
YARN 6078: contenitori bloccati in stato Localizzazione.
YARN-6805: NPE in LinuxContainerExecutor a causa di un codice di uscita PrivilegedOperationException nullo.

HBase

Questa versione fornisce HBase 1.1.2 e le patch di Apache seguenti.

HBASE-13376: miglioramenti al bilanciamento del carico Stochastic.
HBASE-13716: interruzione dell'uso di FSConstants di Hadoop.
HBASE-13848: password di accesso SSL a InfoServer tramite l'API del provider di credenziali.
HBASE-13947: uso di MasterServices invece di Server in AssignmentManager.
HBASE-14135: backup/ripristino fase 3 HBase: unione delle immagini di backup.
HBASE-14473: calcolo in parallelo della località della regione.
HBASE-14517: mostrare la versione di regionserver's nella pagina dello stato master.
HBASE-14606: timeout dei test TestSecureLoadIncrementalHFiles nella compilazione trunk su Apache.
HBASE-15210: annullamento della registrazione aggressiva del bilanciamento del carico in decine di righe al millisecondo.
HBASE-15515: miglioramento di LocalityBasedCandidateGenerator nel bilanciamento.
HBASE-15615: tempo di sospensione errato quando RegionServerCallable richiede un altro tentativo.
HBASE-16135: PeerClusterZnode in rs del peer rimosso non può essere mai eliminato.
HBASE-16570: calcolo in parallelo della località della regione all'avvio.
HBASE-16810: il bilanciamento di HBase genera ArrayIndexOutOfBoundsException quando i regionservers si trovano in /hbase/draining znode e sono senza carico.
HBASE-16852: TestDefaultCompactSelection non riuscito nel ramo 1.3.
HBASE-17387: riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi ().
HBASE-17850: utility di backup di ripristino del sistema.
HBASE-17931: assegnazione delle tabelle di sistema ai server con la versione più recente.
HBASE-18083: rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner.
HBASE-18084: miglioramento di CleanerChore per eseguire la pulizia della directory che consuma maggiore spazio su disco.
HBASE-18164: funzione di costo località e generatore di candidati più veloci.
HBASE-18212: in modalità autonoma con il file system locale HBase registra il messaggio di avviso: Failed to invoke "unbuffer" method in class org.apache.hadoop.fs.FSDataInputStream. (Impossibile richiamare il metodo "unbuffer" nella classe org.apache.hadoop.fs.FSDataInputStream).
HBASE-18808: archiviazione della configurazione inefficace in BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x.
HBASE-19065: HRegion#bulkLoadHFiles() dovrebbe attendere Region#flush() simultaneo per terminare.
HBASE-19285: aggiunta di istogrammi di latenza per tabella.
HBASE-19393: head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE.
HBASE-19421:-branch-1 non viene compilato in base a Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException quando è abilitata la replica in lettura e viene eseguito uno snapshot online dopo la suddivisione di un'area.
HBASE-20008: [backport] NullPointerException quando si ripristina uno snapshot dopo la suddivisione di un'area.

Hive

Questa versione fornisce Hive 1.2.1 e Hive 2.1.0 oltre alle patch seguenti:

Patch Hive 1.2.1 Apache:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor esegue una conversione non corretta.
HIVE-11266: risultato errato di count (*) in base alle statistiche di tabella per le tabelle esterne.
HIVE-12245: commenti della colonna Supporto per una tabella di backup HBase.
HIVE-12315: correzione della doppia divisione per zero vettorizzata.
HIVE-12360: ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato.
HIVE-12378: eccezione nel campo binario HBaseSerDe.serialize.
HIVE-12785: visualizzazione con tipo di unione e UDF alla struttura interrotta.
HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-14421: FS.deleteOnExit include riferimenti ai file _tmp_space.db.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16232: supporta il calcolo delle statistiche per le colonne in QuotedIdentifier.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17013: elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione.
HIVE-17063: l'inserimento di una partizione di sovrascrittura su una tabella esterna non riesce quando prima si elimina la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17419: il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate.
HIVE-17530: ClassCastException durante la conversione uniontype.
HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17636: aggiunta del test multiple_agg.q per blobstores.
HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiunta di un'opzione compat di compatibilità con le versioni precedenti per gli utenti esterni a HIVE-11985.
HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17829: ArrayIndexOutOfBoundsException - tabelle di backup HBASE con schema Avro in Hive2.
HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true.
HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18293: Hive non riesce a comprimere le tabelle contenute all'interno di una cartella che non appartiene a identità che eseguono HiveMetaStore.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18429: compattazione di dati deve gestire un caso quando non viene prodotto alcun output.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database (Anishek Agarwal, esaminato da Sankar Hariappan).
HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18587: l'evento insert DML potrebbe tentare di calcolare un checksum sulle directory.
HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18907: creazione di utilità per risolvere il problema di indice di chiave acid da HIVE 18817.

Patch Hive 2.1.0 Apache:

HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16757: rimuove le chiamate a AbstractRelNode.getRows deprecato.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17063: l'inserimento di una partizione di sovrascrittura su una tabella esterna non riesce quando prima si elimina la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17530: ClassCastException durante la conversione uniontype.
HIVE-17600: rende configurabile dall'utente enforceBufferSize di OrcFile.
HIVE-17601: migliora la gestione degli errori in LlapServiceDriver.
HIVE-17613: rimuove i pool di oggetti per le allocazioni brevi dello stesso thread.
HIVE-17617: il rollup di un set di risultati vuoto deve contenere il raggruppamento del set di raggruppamento vuoto.
HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17629: CachedStore: aggiunta di una configurazione di elementi approvati/non approvati per consentire la memorizzazione selettiva nella cache delle tabelle/partizioni e consentire la lettura durante la configurazione preliminare.
HIVE-17636: aggiunta del test multiple_agg.q per blobstores.
HIVE-17702: gestione isRepeating non corretta nel lettore dei numeri decimali in ORC.
HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiunta di un'opzione compat di compatibilità con le versioni precedenti per gli utenti esterni a HIVE-11985.
HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18006: ottimizzazione del footprint della memoria di HLLDenseRegister.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: l'ordinamento in base alla posizione non funziona quando cbo è disabilitato.
HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18269: LLAP: l'I/O llap rapido con pipeline con elaborazione lenta può causare un problema di memoria insufficiente.
HIVE-18293: Hive non riesce a comprimere le tabelle contenute all'interno di una cartella che non appartiene a identità che eseguono HiveMetaStore.
HIVE-18318: il lettore dei record LLAP deve verificare l'interrupt anche quando non causa un blocco.
HIVE-18326: utilità di pianificazione Tez LLAP - può dare la precedenza alle attività solo se esiste una dipendenza tra di esse.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18331: aggiunta di una nuova funzione per ripetere l'accesso alla scadenza del TGT e di alcune registrazioni/lambda.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18384: ConcurrentModificationException nella libreria log4j2.x.
HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18462: (spiegazione formattazione per query con Map join con columnExprMap con nome di colonna non formattato).
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database.
HIVE-18488: i lettori LLAP ORC non hanno alcuni controlli null.
HIVE-18490: una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato.
HIVE-18506: LlapBaseInputFormat - indice di matrice negativo.
HIVE-18517: vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP.
HIVE-18523: corregge la riga di riepilogo nel caso in cui non siano presenti input.
HIVE-18528: le statistiche di aggregazione in ObjectStore hanno un risultato errato.
HIVE-18530: la replica deve ignorare la tabella MM (per il momento).
HIVE-18548: correzione dell'importazione log4j.
HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18577: SemanticAnalyzer.validate ha alcune chiamate metastore inutili.
HIVE-18587: l'evento insert DML potrebbe tentare di calcolare un checksum sulle directory.
HIVE-18597: LLAP: creare sempre il pacchetto JAR dell'API log4j2 per org.apache.log4j.
HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18643: non controlla le partizioni archiviate per le operazioni ACID.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18815: rimuove le funzionalità inutilizzate in HPL/SQL.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18944: la posizione dei set di raggruppamento è impostata in modo non corretto durante il DPP.

Kafka

Questa versione fornisce Kafka 1.0.0 e le patch di Apache seguenti.

KAFKA-4827: connessione Kafka: errore con i caratteri speciali nel nome del connettore.
KAFKA-6118: errore temporaneo in kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter non è in grado di gestire i percorsi di directory stile Windows.
KAFKA-6164: i thread ClientQuotaManager impediscono l'arresto quando viene rilevato un errore durante il caricamento dei log.
KAFKA-6167: il timestamp nella directory dei flussi contiene un segno di due punti, che è un carattere non valido.
KAFKA-6179: RecordQueue.clear() non effettua la cancellazione dell'elenco gestito di MinTimestampTracker.
KAFKA-6185: perdita di memoria del selettore con alta probabilità di memoria insufficiente in caso di conversione verso il basso.
KAFKA-6190: GlobalKTable non completa il ripristino quando si usano i messaggi transazionali.
KAFKA-6210: IllegalArgumentException se 1.0.0 viene usato per inter.broker.protocol.version o log.message.format.version.
KAFKA-6214: l'uso delle repliche Standby con un archivio di stati in memoria causa l'arresto anomalo di Streams.
KAFKA-6215: KafkaStreamsTest causa errori nel trunk.
KAFKA-6238: problemi di versione del protocollo quando si applica un aggiornamento in sequenza a 1.0.0.
KAFKA-6260: AbstractCoordinator non gestisce in modo chiaro l'eccezione NULL.
KAFKA-6261: la registrazione delle richiesta genera un'eccezione se acks=0.
KAFKA-6274: miglioramento dei nomi generati automaticamente dall'archivio di stati KTable Source.

Mahout

In HDP 2.3.x e 2.4.x, invece del rilascio di una specifica versione Apache di Mahout, è stata effettuata la sincronizzazione su un punto di revisione specifico sul trunk di Apache Mahout. Questo punto di revisione è successivo alla versione 0.9.0 ma precedente alla versione 0.10.0. Ciò consente un numero elevato di correzioni di bug e miglioramenti funzionali nella versione 0.9.0, ma fornisce una versione stabile della funzionalità di Mahout prima della conversione completa al nuovo Mahout basato su Spark nella versione 0.10.0.

Il punto di revisione scelto per Mahout in HDP 2.3.x e 2.4.x proviene dal ramo "mahout-0.10.x" di Apache Mahout, a partire dal 19 dicembre 2014, revisione 0f037cb03e77c096 in GitHub.

In HDP 2.5.x e 2.6 la libreria "commons-httpclient" è stata rimossa da Mahout perché è ritenuta una libreria obsoleta, con possibili problemi di sicurezza ed è stato eseguito l'aggiornamento del Client Hadoop in Mahout alla versione 2.7.3, la stessa usata in HDP-2.5. Di conseguenza:

I processi Mahout compilati in precedenza dovranno essere ricompilati in ambiente HDP 2.5 o 2.6.
Esiste una piccola possibilità che alcuni processi Mahout possano riscontrare errori "ClassNotFoundException" o "could not load class" correlati a "org.apache.commons.httpclient", "net.java.dev.jets3t" o a prefissi dei nomi di classe correlati. Se si verificano questi errori si può considerare di installare manualmente i file JAR necessari nel percorso di classe del processo, se il rischio di problemi di sicurezza nella libreria obsoleta è accettabile nel proprio ambiente.
Esiste una possibilità ancora minore che alcuni processi Mahout possano arrestarsi in modo anomalo nelle chiamate del codice hbase-client alle librerie comuni hadoop a causa di problemi di compatibilità binaria. Purtroppo non è possibile risolvere questo problema se non tornando alla versione HDP-2.4.2 di Mahout, che potrebbe presentare problemi di sicurezza. Si tratta comunque di una possibilità remota ed è improbabile che si verifichi in una suite di processi di Mahout.

Oozie

Questa versione fornisce Oozie 4.2.0 e le patch di Apache seguenti.

OOZIE-2571: aggiunge una proprietà Maven spark.scala.binary.version in modo che sia possibile usare Scala 2.11.
OOZIE-2606: imposta spark.yarn.jars per correggere Spark 2.0 con Oozie.
OOZIE-2658:-driver-class-path può sovrascrivere il percorso di classe in SparkMain.
OOZIE-2787: Oozie distribuisce l'applicazione jar due volte causando un errore del processo spark.
OOZIE-2792: l'azione Hive2 non analizza in modo appropriato l'ID dell'applicazione Spark dal file di log quando Hive si trova in Spark.
OOZIE-2799: impostazione del percorso del log per spark sql su hive.
OOZIE-2802: errore dell'azione di Spark su Spark 2.1.0 a causa di sharelibs duplicati.
OOZIE-2923: miglioramento dell'analisi delle opzioni Spark.
OOZIE-3109: SCA: Scripting intersito: riflesso.
OOZIE-3139: Oozie convalida il flusso di lavoro in modo non corretto.
OOZIE-3167: aggiornamento della versione di Tomcat sul ramo di Oozie 4.3.

Phoenix

Questa versione fornisce Phoenix 4.7.0 e le patch di Apache seguenti:

PHOENIX-1751: esecuzione di aggregazioni, ordinamento e così via in preScannerNext anziché in postScannerOpen.
PHOENIX-2714: stima corretta dei byte in BaseResultIterators ed esposizione come interfaccia.
PHOENIX-2724: l'esecuzione di query con un numero elevato di indicatori risulta più lenta rispetto a query senza statistiche.
PHOENIX-2855: soluzione alternativa per l'incremento di TimeRange non serializzata per HBase 1.2.
PHOENIX-3023: prestazioni lente quando le query di limite vengono eseguite in parallelo per impostazione predefinita.
PHOENIX-3040: non vengono usati indicatori per l'esecuzione di query in modo seriale.
PHOENIX-3112: analisi di righe parziale non gestita correttamente.
PHOENIX-3240: ClassCastException dal caricatore Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST non dovrebbero influire se GROUP BY mantiene l'ordine.
PHOENIX 3469: ordinamento errato per la chiave primaria DESC per NULLS LAST/NULLS FIRST.
PHOENIX-3789: esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably.
PHOENIX-3865: IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata.
PHOENIX 4290: scansione completa della tabella eseguita per DELETE con la tabella che contiene indici non modificabili.
PHOENIX-4373: chiave di lunghezza variabile di indice locale può avere i valori null finali durante l'operazione di upserting.
PHOENIX-4466: java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricamento dei dati.
PHOENIX-4489: perdita di connessione HBase nei processi di MR Phoenix.
PHOENIX-4525: overflow numero intero nell'esecuzione GroupBy.
PHOENIX-4560: ORDER BY con GROUP BY non funziona se nella colonna pk è presente WHERE.
PHOENIX-4586: UPSERT SELECT non considera gli operatori di confronto per le sottoquery.
PHOENIX-4588: clonazione dell'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION.

Pig

Questa versione fornisce Pig 0.16.0 e le patch di Apache seguenti.

PIG-5159: correzione di Pig che non salva la cronologia grunt.
PIG-5175: aggiornamento di jruby alla versione 1.7.26.

Ranger

Questa versione fornisce Ranger 0.7.0 e le patch di Apache seguenti:

RANGER-1805: miglioramento del codice per seguire le procedure consigliate in js.
RANGER-1960: considerare il nome della tabella dello snapshot per l'eliminazione.
RANGER-1982: miglioramento degli errori per Analytics Metric di Ranger Admin e per il Server di gestione delle chiavi Ranger.
RANGER-1984: i record del log di controllo di HBase possono non visualizzare tutti i tag associati alla colonna a cui hanno accesso.
RANGER-1988: correzione della casualità non sicura.
RANGER-1990: aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin.
RANGER-2006: correzione dei problemi rilevati dall'analisi del codice statico in ranger usersync per l'origine di sincronizzazione ldap.
RANGER-2008: la valutazione dei criteri non riesce per le condizioni dei criteri su più righe.

Dispositivo di scorrimento

Questa versione fornisce Slider 0.92.0 senza altre patch di Apache.

Spark

Questa versione fornisce Spark 2.3.0 e le patch di Apache seguenti:

SPARK-13587: supporto virtualenv in pyspark.
SPARK-19964: evita la lettura dai repository remoti in SparkSubmitSuite.
SPARK-22882: test di Machine Learning per lo streaming strutturato: ml.classification.
SPARK-22915: test di flusso per spark.ml.feature, da N a Z.
SPARK-23020: corregge un altro race nel test dell'utilità di avvio in-process.
SPARK-23040: restituisce l'iteratore interrompibile per il lettore casuale.
SPARK-23173: evita la creazione di file con estensione parquet danneggiati durante il caricamento dei dati da JSON.
SPARK-23264: corregge scala.MatchError in literals.sql.out.
SPARK-23288: corregge le metriche di output con sink parquet.
SPARK-23329: corregge la documentazione delle funzioni trigonometriche.
SPARK-23406: Abilita i self-join stream-stream per il ramo-2.3.
SPARK-23434: Spark non deve inviare avvisi alla directory di metadati per un percorso di file HDFS.
SPARK-23436: dedurre la partizione come Date solo se è possibile eseguirne il cast in Date.
SPARK-23457: registrazione come prima cosa dei listener di completamento delle attività in ParquetFileFormat.
SPARK-23462: miglioramento del messaggio di errore di campo mancante in "StructType".
SPARK-23490: controllo di storage.locationUri con la tabella esistente in CreateTable.
SPARK-23524: i blocchi casuali locali di grandi dimensioni non devono essere verificati per eventuali danneggiamenti.
SPARK-23525: supporto ALTER TABLE CHANGE COLUMN COMMENT per la tabella hive esterna.
SPARK-23553: i test non devono presupporre il valore predefinito di "spark.sql.sources.default".
SPARK-23569: consentire a pandas_udf di operare con le funzioni Python3 con stile type-annotated.
SPARK-23570: aggiunta di Spark 2.3.0 in HiveExternalCatalogVersionsSuite.
SPARK-23598: rendere pubblici i metodi in BufferedRowIterator per evitare errori di runtime in una query di grandi dimensioni.
SPARK-23599: aggiungere un generatore di UUID da Pseudo-Random Numbers.
SPARK-23599: uso di RandomUUIDGenerator nell'espressione Uuid.
SPARK-23601: rimuovere i file .md5 dalla versione.
SPARK-23608: aggiunta della sincronizzazione in SHS tra le funzioni attachSparkUI e detachSparkUI per evitare il problema di modifiche simultanee ai gestori di Jetty.
SPARK-23614: correzione dello scambio non corretto del riutilizzo quando viene usata la memorizzazione nella cache.
SPARK-23623: evita l'uso simultaneo di consumer memorizzati nella cache in CachedKafkaConsumer (ramo-2.3).
SPARK-23624: riesame della documentazione del metodo pushFilters in Datasource V2.
SPARK-23628: calculateParamLength non deve restituire 1 + numero delle espressioni.
SPARK-23630: Consente di rendere effettive le personalizzazioni conf Hadoop dell'utente.
SPARK-23635: la variabile di ambiente dell'executor Spark viene sovrascritta dalla variabile di ambiente AM con lo stesso nome.
SPARK-23637: Yarn può allocare più risorse se lo stesso esecutore viene terminato più volte.
SPARK-23639: ottenere i token prima del client init metastore nella CLI SparkSQL.
SPARK-23642: correzione di scaladoc isZero di per le sottoclassi di AccumulatorV2.
SPARK-23644: Usa il percorso assoluto per la chiamata REST in SHS.
SPARK-23645: aggiunta di argomenti sulle parole chiave nella documentazione relativa a "pandas_udf".
SPARK-23649: ignora i caratteri non consentiti in UTF-8.
SPARK-23658: InProcessAppHandle usa una classe errata in getLogger.
SPARK-23660: correzione eccezione in modalità cluster yarn quando l'applicazione termina rapidamente.
SPARK-23670: correzione di perdita di memoria su SparkPlanGraphWrapper.
SPARK-23671: correzione della condizione per abilitare il pool di thread SHS.
SPARK-23691: uso dell'utilità sql_conf nei test PySpark laddove possibile.
SPARK-23695: correzione del messaggio di errore per i test di streaming di Kinesis.
SPARK-23706: spark.conf.get(value, default=None) deve produrre None in PySpark.
SPARK-23728: correzione dei test ML con le eccezioni previste nell'esecuzione dei test di streaming.
SPARK-23729: rispetto della frammentazione URI durante le risoluzione dei glob.
SPARK-23759: Impossibile eseguire l'associazione dell'interfaccia utente di Spark al nome host / IP specifico.
SPARK-23760: CodegenContext.withSubExprEliminationExprs deve salvare/ripristinare lo stato CSE in modo corretto.
SPARK-23769: rimuovere i commenti che disabilitano inutilmente il controllo Scalastyle.
SPARK-23788: correzione di race in StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation può lasciare il piano di query in uno stato non risolto.
SPARK-23806: Broadcast.unpersist può causare un'eccezione irreversibile quando usato con l'allocazione dinamica.
SPARK-23808: impostare la sessione Spark predefinita nelle sessioni Spark a solo scopo di test.
SPARK-23809: SparkSession attivo deve essere impostato da getOrCreate.
SPARK-23816: le attività terminate devono ignorare FetchFailures.
SPARK-23822: miglioramento del messaggio di errore di mancata corrispondenza dello schema Parquet.
SPARK-23823: mantiene l'origine in transformExpression.
SPARK-23827: StreamingJoinExec deve assicurare che i dati di input siano partizionati in un numero specifico di partizioni.
SPARK-23838: l'esecuzione della query SQL viene visualizzata come "completata" nella scheda SQL.
SPARK-23881: correzione del test inattendibile JobCancellationSuite."interruptible iterator of shuffle reader".

Sqoop

Questa versione fornisce Sqoop 1.4.6 senza altre patch di Apache.

Storm

Questa versione fornisce Storm 1.1.1 e le patch di Apache seguenti:

STORM-2652: eccezione generata nel metodo Open JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT ha esito negativo con NullPointerException.
STORM-2854: esposizione di IEventLogger per rendere la registrazione degli eventi collegabile.
STORM-2870: FileBasedEventLogger non registra ExecutorService non daemon che impedisce di portare a termine il processo.
STORM-2960: sottolineare l'importanza dell'impostazione appropriata di un account del sistema operativo per i processi Storm.

Tez

Questa versione fornisce Tez 0.7.0 e le patch di Apache seguenti:

TEZ-1526: LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni.

Zeppelin

Questa versione fornisce Zeppelin 0.7.3 senza altre patch di Apache.

ZEPPELIN-3072: l'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook.
ZEPPELIN-3129: l'interfaccia utente di Zeppelin non si disconnette in Internet Explorer.
ZEPPELIN-903: sostituzione di CXF con Jersey2.

ZooKeeper

Questa versione fornisce ZooKeeper 3.4.6 e le patch di Apache seguenti:

ZOOKEEPER-1256: ClientPortBindTest ha esito negativo in macOS X.
ZOOKEEPER-1901: [JDK8] ordinamento degli elementi figlio per il confronto nei test AsyncOps.
ZOOKEEPER-2423: aggiornamento della versione Netty a causa di vulnerabilità di sicurezza (CVE-2014-3488).
ZOOKEEPER-2693: attacco DOS su parole di quattro lettere wchp/wchc (4lw).
ZOOKEEPER-2726: la patch introduce una possibile race condition.

Vulnerabilità comuni ed esposizioni risolte

Questa sezione descrive tutte le CVE (Common Vulnerabilities and Exposures) che vengono risolte in questa versione.

CVE-2017-7676

Riepilogo: la valutazione dei criteri di Apache Ranger ignora i caratteri dopo il carattere jolly "*"
Gravità: Critica
Fornitore: Hortonworks
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger
Utenti interessati: ambienti che usano i criteri Ranger con i caratteri dopo il carattere jolly "" ad esempio mytest, test*.txt
Impatto: il matcher della risorsa criteri ignora i caratteri dopo il carattere jolly "*", il che può causare comportamenti imprevisti.
Dettaglio della correzione: il matcher della risorsa criteri Ranger è stato aggiornato per gestire correttamente le corrispondenze con i caratteri jolly.
Azione consigliata: eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+).

CVE-2017-7677

Riepilogo: Apache Ranger Hive Authorizer deve controllare l'autorizzazione RWX quando viene specificato un percorso esterno
Gravità: Critica
Fornitore: Hortonworks
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger
Utenti interessati: ambienti che usano una posizione esterna per le tabelle hive
Impatto: negli ambienti che usano la posizione esterna per le tabelle hive, Apache Ranger Hive Authorizer deve controllare l'autorizzazione per il percorso esterno specificato per creare una tabella.
Dettaglio della correzione: Ranger Hive Authorizer è stato aggiornato per poter gestire correttamente il controllo delle autorizzazioni con la posizione esterna.
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+).

CVE-2017-9799

Riepilogo: potenziale esecuzione di codice come utente non corretto in Apache Storm
Gravità: Importante
Fornitore: Hortonworks
Versioni interessate: HDP 2.4.0, HDP 2.5.0, HDP 2.6.0
Utenti interessati: gli utenti che usano Storm in modalità protetta e usano l'archivio BLOB per distribuire elementi basati sulla topologia o che usano l'archivio BLOB per distribuire le risorse di topologia.
Impatto: in alcune situazioni e configurazioni di Storm è teoricamente possibile per il proprietario di una topologia ingannare il supervisore in modo che avvii un ruolo di lavoro come utente diverso, non ROOT. Nel peggiore dei casi, questo potrebbe causare la compromissione delle credenziali protette dell'altro utente. Questa vulnerabilità si applica solo alle installazioni di Apache Storm con la sicurezza abilitata.
Mitigazione dei rischi: eseguire l'aggiornamento a HDP 2.6.2.1 in quanto non esistono attualmente soluzioni.

CVE-2016-4970

Riepilogo: handler/ssl/OpenSslEngine.java in Netty 4.0.x prima della versione 4.0.37. Finale e 4.1.x prima della versione 4.1.1. La versione finale consente a utenti malintenzionati remoti di causare un attacco Denial of Service (ciclo infinito)
Gravità: Moderata
Fornitore: Hortonworks
Versioni interessate: HDP 2.x.x dopo 2.3.x
Utenti interessati: tutti gli utenti che usano HDFS.
Impatto: impatto basso poiché Hortonworks non usa OpenSslEngine.java direttamente nella codebase di Hadoop.
Azione consigliata: eseguire l'aggiornamento a HDP 2.6.3.

CVE-2016-8746

Riepilogo: problema di corrispondenza percorso Apache Ranger nella valutazione dei criteri
Gravità: Normale
Fornitore: Hortonworks
Versioni interessate: tutte le versioni di HDP 2.5 incluse le versioni 0.6.0/0.6.1/0.6.2 di Apache Ranger
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger.
Impatto: il motore dei criteri di Ranger mette in corrispondenza in modo non corretto i percorsi in determinate condizioni quando un criterio contiene caratteri jolly e flag ricorsivi.
Dettaglio della correzione: corretta la logica di valutazione dei criteri
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+)

CVE-2016-8751

Riepilogo: problema di Apache Ranger di scripting archiviato tra siti
Gravità: Normale
Fornitore: Hortonworks
Versioni interessate: tutte le versioni di HDP 2.3/2.4/2.5 incluse le versioni 0.5.x/0.6.0/0.6.1/0.6.2 di Apache Ranger
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger.
Impatto: Apache Ranger è vulnerabile a uno scripting archiviato tra siti quando si immettono le condizioni dei criteri personalizzati. Gli utenti amministratori possono archiviare alcune esecuzioni di codice JavaScript arbitrario quando gli utenti normali si collegano e accedono ai criteri.
Dettaglio della correzione: aggiunta di logica per purificare l'input dell'utente.
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+)

Problemi risolti per il supporto

I problemi risolti rappresentano problemi selezionati registrati in precedenza tramite il supporto di Hortonworks, ma che sono ora risolti nella versione corrente. Questi problemi potrebbero essere stati segnalati nelle versioni precedenti all'interno della sezione Problemi noti, vale a dire che sono stati segnalati dai clienti o identificati dal team tecnico di qualità di Hortonworks.

Risultati non corretti

ID bug	Apache JIRA	Riepilogo
BUG-100019	YARN-8145	yarn rmadmin - getGroups non restituisce i gruppi aggiornati per l'utente
BUG-100058	PHOENIX-2645	I caratteri jolly non corrispondono a caratteri di nuova riga
BUG-100266	PHOENIX-3521, PHOENIX-4190	Risultati errati con gli indici locali
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	Errore query36, mancata corrispondenza del numero di riga
BUG-89765	HIVE-17702	gestione isRepeating non corretta nel lettore dei numeri decimali in ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0
BUG-92345	ATLAS-2285	Interfaccia utente: ricerca salvata rinominata con l'attributo date.
BUG-92563	HIVE-17495, HIVE-18528	Le statistiche di aggregazione in ObjectStore hanno un risultato errato
BUG-92957	HIVE-11266	Risultato errato di count (*) in base alle statistiche di tabella per le tabelle esterne
BUG-93097	RANGER-1944	Il filtro delle azioni per il controllo di amministrazione non funziona
BUG-93335	HIVE-12315	vectorization_short_regress.q presenta un problema di risultato errato per un calcolo doppio
BUG-93415	HIVE-18258, HIVE-18310	Vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata
BUG-93939	ATLAS-2294	Parametro aggiuntivo "description" aggiunto durante la creazione di un tipo
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries restituisce i valori Null a causa di righe HBase Partial
BUG-94266	HIVE-12505	Insert overwrite nella stessa area crittografata non riesce automaticamente a rimuovere alcuni file esistenti
BUG-94414	HIVE-15680	Risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query
BUG-95048	HIVE-18490	Una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato
BUG-95053	PHOENIX-3865	IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata
BUG-95476	RANGER-1966	L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto
BUG-95566	SPARK-23281	La query produce risultati in ordine non corretto quando una clausola order by composta fa riferimento a colonne originali e agli alias
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Risoluzione dei problemi con ORDER BY ASC quando la query include le aggregazioni
BUG-96389	PHOENIX-4586	UPSERT SELECT non considera gli operatori di confronto per le sottoquery.
BUG-96602	HIVE-18660	PCR non distingue tra colonne di partizione e colonne virtuali
BUG-97686	ATLAS-2468	[Ricerca di base] Problema con i casi OR quando NEQ viene usato con i tipi numerici
BUG-97708	HIVE-18817	Eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-97889	RANGER-2008	La valutazione dei criteri non riesce per le condizioni dei criteri su più righe.
BUG-98655	RANGER-2066	L'accesso alla famiglia di colonne HBase è autorizzato da una colonna con tag nella famiglia di colonne
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer potrebbe alterare le colonne costanti

Altro

ID bug	Apache JIRA	Riepilogo
BUG-100267	HBASE-17170	HBase ripete anche il tentativo DoNotRetryIOException a causa delle differenze del caricatore di classe.
BUG-92367	YARN-7558	Il comando "yarn logs" non riesce a ottenere i log dei contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente.
BUG-93159	OOZIE-3139	Oozie convalida il flusso di lavoro in modo non corretto
BUG-93936	ATLAS-2289	Il codice di avvio/arresto server kafka/zookeeper incorporato deve essere spostato fuori dall'implementazione KafkaNotification
BUG-93942	ATLAS-2312	Usare oggetti ThreadLocal DateFormat per evitare l'uso simultaneo da più thread
BUG-93946	ATLAS-2319	Interfaccia utente: eliminazione di un tag che alla posizione 25+ dell'elenco di tag nella struttura piatta e in quella ad albero necessita di un aggiornamento per rimuovere il tag dall'elenco.
BUG-94618	YARN-5037, YARN-7274	Possibilità di disabilitare l'elasticità al livello foglia della coda
BUG-94901	HBASE-19285	Aggiunta di istogrammi di latenza per tabella
BUG-95259	HADOOP-15185, HADOOP-15186	Aggiornamento del connettore `adls` per usare la versione corrente dell'SDK di ADLS
BUG-95619	HIVE-18551	Vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace
BUG-97223	SPARK-23434	Spark non deve inviare avvisi alla "directory di metadati" per un percorso di file HDFS

Prestazioni

ID bug	Apache JIRA	Riepilogo
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Calcolo veloce località del bilanciamento
BUG-91300	HBASE-17387	Riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi ()
BUG-91804	TEZ-1526	LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni
BUG-92760	ACCUMULO-4578	L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi
BUG-93577	RANGER-1938	Solr per l'installazione di Audit non usa in modo efficace DocValues
BUG-93910	HIVE-18293	Hive non riesce a comprimere le tabelle contenute all'interno di una cartella che non appartiene a identità che eseguono HiveMetaStore
BUG-94345	HIVE-18429	La compattazione deve gestire un caso quando non viene prodotto alcun output
BUG-94381	HADOOP-13227, HDFS-13054	Gestione dell'ordine RequestHedgingProxyProvider RetryAction:FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR deve chiamare jobclient.close() per attivare la pulizia
BUG-94869	PHOENIX-4290, PHOENIX-4373	Riga richiesta non compresa nell'intervallo per Get su `HRegion` per la tabella Phoenix con salting indicizzato locale.
BUG-94928	HDFS-11078	Correggere NPE in LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Correzioni LLAP multiple
BUG-95669	HIVE-18577, HIVE-18643	Quando si eseguono query di aggiornamento/eliminazione su una tabella partizionata ACID, HS2 legge tutto in ogni partizione.
BUG-96390	HDFS-10453	Il thread di ReplicationMonitor può restare bloccato per molto tempo a causa di race tra la replica e la cancellazione dello stesso file in un cluster di grandi dimensioni.
BUG-96625	HIVE-16110	Ripristino di "Vectorization: Support 2 Value CASE WHEN instead of fall back to VectorUDFAdaptor"
BUG-97109	HIVE-16757	Uso di getRows() deprecati anziché di estimateRowCount(RelMetadataQuery...) ha un impatto grave sulle prestazioni
BUG-97110	PHOENIX-3789	Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably
BUG-98833	YARN-6797	TimelineWriter non usa completamente la risposta POST
BUG-98931	ATLAS-2491	Aggiornare l'hook di Hive per usare le notifiche Atlas v2

Potenziale perdita di dati

ID bug	Apache JIRA	Riepilogo
BUG-95613	HBASE-18808	Verifica della configurazione inefficace in BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Concatenazione non riuscita delle tabelle non gestite e transazionali
BUG-97787	HIVE-18460	Compactor non trasmette le proprietà della tabella al writer Orc
BUG-97788	HIVE-18613	Estensione di JsonSerDe per supportare il tipo BINARY

Errore di query

ID bug	Apache JIRA	Riepilogo
BUG-100180	CALCITE-2232	Errore di asserzione in AggregatePullUpConstantsRule durante la regolazione degli indici di aggregazione
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) imposta la firma su `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: requestSeek non può essere chiamata su ReversedKeyValueHeap
BUG-102078	HIVE-17978	Le query TPCDS 58 e 83 generano eccezioni nella vettorializzazione.
BUG-92483	HIVE-17900	L'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con > 1 colonna di partizione
BUG-93135	HIVE-15874, HIVE-18189	Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true
BUG-93136	HIVE-18189	L'ordinamento in base alla posizione non funziona quando `cbo` è disabilitato
BUG-93595	HIVE-12378, HIVE-15883	La tabella mappata HBase in Hive insert non riesce per le colonne binarie e decimali
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries restituisce i valori Null a causa di righe HBase Partial
BUG-94144	HIVE-17063	l'inserimento di una partizione di sovrascrittura su una tabella esterna non riesce quando prima si elimina la partizione
BUG-94280	HIVE-12785	La visualizzazione con tipo di unione e UDF per eseguire il "cast" della struttura è interrotta
BUG-94505	PHOENIX-4525	Overflow numero intero nell'esecuzione GroupBy
BUG-95618	HIVE-18506	LlapBaseInputFormat - indice di matrice negativo
BUG-95644	HIVE-9152	CombineHiveInputFormat: la query Hive ha esito negativo in Tez con l'eccezione java.lang.IllegalArgumentException
BUG-96762	PHOENIX-4588	Clonazione dell'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	Commenti della colonna Supporto per una tabella di backup HBase
BUG-97741	HIVE-18944	La posizione dei set di raggruppamento è impostata in modo non corretto durante il DPP
BUG-98082	HIVE-18597	LLAP: creare sempre il pacchetto JAR dell'API `log4j2` per `org.apache.log4j`
BUG-99849	N/D	La creazione di una nuova tabella da una procedura guidata file tenta di usare il database predefinito

Sicurezza

ID bug	Apache JIRA	Riepilogo
BUG-100436	RANGER-2060	Il proxy `Knox` con `knox-sso` non funziona per Ranger
BUG-101038	SPARK-24062	Errore "Connection refused" dell'interprete Zeppelin %Spark, errore"A secret key must be specified..." in HiveThriftServer
BUG-101359	ACCUMULO-4056	Aggiornare alla versione della raccolta di commons 3.2.2 al momento del rilascio
BUG-54240	HIVE-18879	Elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath
BUG-79059	OOZIE-3109	Caratteri di escape di log specifici HTML dello streaming
BUG-90041	OOZIE-2723	La licenza JSON.org è ora CatX
BUG-93754	RANGER-1943	L'autorizzazione Ranger Solr viene ignorata quando la raccolta è vuota o null
BUG-93804	HIVE-17419	Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate
BUG-94276	ZEPPELIN-3129	L'interfaccia utente di Zeppelin non si disconnette in Internet Explorer
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Aggiornamento Netty
BUG-95483	N/D	Correzione per CVE-2017-15713
BUG-95646	OOZIE-3167	Aggiornamento della versione di Tomcat sul ramo di Oozie 4.3
BUG-95823	N/D	`Knox`: Aggiornamento `Beanutils`
BUG-95908	RANGER-1960	Auth HBase non prende in considerazione lo spazio dei nomi di tabella per l'eliminazione di snapshot
BUG-96191	FALCON-2322, FALCON-2323	Aggiornare le versioni Jackson e Spring per evitare le vulnerabilità di sicurezza
BUG-96502	RANGER-1990	Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin
BUG-96712	FLUME-3194	Eseguire l'aggiornamento alla versione più recente (1.14.1.0) di derby
BUG-96713	FLUME-2678	Eseguire l'aggiornamento xalan alla versione 2.7.2 per la vulnerabilità CVE-2014-0107
BUG-96714	FLUME-2050	Eseguire l'aggiornamento a `log4j2` (quando disponibile a livello generale)
BUG-96737	N/D	Usare i metodi del file system di I/O Java per accedere ai file locali
BUG-96925	N/D	Aggiornamento di Tomcat da 6.0.48 a 6.0.53 in Hadoop
BUG-96977	FLUME-3132	Aggiornare le dipendenze della libreria tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Aggiornamento della libreria Nimbus-JOSE-JWT con la versione precedente a 4.39
BUG-97101	RANGER-1988	Correzione della casualità non sicura
BUG-97178	ATLAS-2467	Aggiornamento delle dipendenze per Spring e nimbus-jose-jwt
BUG-97180	N/D	Aggiornamento Nimbus jose-jwt
BUG-98038	HIVE-18788	Pulizia degli input in JDBC PreparedStatement
BUG-98353	HADOOP-13707	Ripristino di "If kerberos is enabled while HTTP SPNEGO is not configured, some links cannot be accessed" (Se Kerberos è abilitato mentre SPNEGO HTTP non è configurato, alcuni collegamenti non sono accessibili)
BUG-98372	HBASE-13848	Password di accesso SSL a InfoServer tramite l'API del provider di credenziali
BUG-98385	ATLAS-2500	Aggiungere altre intestazioni alla risposta Atlas.
BUG-98564	HADOOP-14651	Aggiornare alla versione okhttp 2.7.5
BUG-99440	RANGER-2045	La colonne della tabella Hive senza un criterio di ammissione esplicito sono elencate con il comando 'desc table'
BUG-99803	N/D	Oozie deve disabilitare il caricamento della classe dinamica HBase

Stabilità

ID bug	Apache JIRA	Riepilogo
BUG-100040	ATLAS-2536	NPE nell'Hook Hive Atlas
BUG-100057	HIVE-19251	ObjectStore.getNextNotification con LIMIT deve usare meno memoria
BUG-100072	HIVE-19130	NPE viene generata quando REPL LOAD è applicato all'evento di rilascio partizione.
BUG-100073	N/D	troppe connessioni close_wait da `hiveserver` al nodo di dati
BUG-100319	HIVE-19248	REPL LOAD non genera errori se si verifica un errore di copia dei file.
BUG-100352	N/D	CLONE - la logica di eliminazione RM analizza /registry znode troppo di frequente
BUG-100427	HIVE-19249	Replica: la clausola WITH non passa la configurazione all'attività correttamente in tutti i casi
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	REPL DUMP incrementale deve generare l'errore se gli eventi richiesti vengono puliti.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Aggiornare `Spark2` alla versione 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: HttpClient deve riprovare ancora una volta su NoHttpResponseException
BUG-100810	HIVE-19054	Si verifica un errore di replica di funzioni Hive
BUG-100937	MAPREDUCE-6889	Aggiungere l'API Job#close per arrestare i servizi client MR.
BUG-101065	ATLAS-2587	Impostare l'elenco di controllo di accesso in lettura per /apache_atlas/active_server_info znode in HA per la lettura da parte del proxy `Knox`.
BUG-101093	STORM-2993	Il bolt Storm HDFS genera ClosedChannelException quando viene usato il criterio di rotazione Time
BUG-101181	N/D	PhoenixStorageHandler non gestisce AND nel predicato correttamente
BUG-101266	PHOENIX-4635	Perdita di connessione HBase in org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	Informazioni di derivazione mancanti se sono presenti più output
BUG-101485	N/D	L'API thrift di metastore Hive è lenta e causa il timeout del client
BUG-101628	HIVE-19331	Non è riuscita la replica incrementale Hive nel cloud.
BUG-102048	HIVE-19381	La replica di funzione hive al cloud ha esito negativo con FunctionTask
BUG-102064	N/D	I test della replica Hive `\[ onprem to onprem \]` non sono riusciti in ReplCopyTask
BUG-102137	HIVE-19423	I test della replica Hive `\[ Onprem to Cloud \]` non sono riusciti in ReplCopyTask
BUG-102305	HIVE-19430	Dump di memoria insufficiente di HS2 e Hive metastore
BUG-102361	N/D	Più risultati di inserimento in singoli inserimenti replicati nel cluster Hive di destinazione (`onprem - s3`)
BUG-87624	N/D	L'abilitazione della registrazione eventi storm blocca in continuazione i ruoli di lavoro
BUG-88929	HBASE-15615	Periodo di inattività non corretto quando RegionServerCallable richiede un altro tentativo
BUG-89628	HIVE-17613	Rimuove i pool di oggetti per le allocazioni brevi dello stesso thread
BUG-89813	N/D	SCA: correttezza del codice: il metodo non sincronizzato esegue l'override del metodo sincronizzato
BUG-90437	ZEPPELIN-3072	L'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook
BUG-90640	HBASE-19065	HRegion#bulkLoadHFiles() dovrebbe attendere il completamento di Region#flush() simultaneo
BUG-91202	HIVE-17013	Elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione
BUG-91350	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-92054	HIVE-13120	Propagazione doAs quando si generano le divisioni ORC
BUG-92373	FALCON-2314	Passare la versione TestNG alla 6.13.1 per evitare dipendenze BeanShell
BUG-92381	N/D	Errore testContainerLogsWithNewAPI e testContainerLogsWithOldAPI UT
BUG-92389	STORM-2841	testNoAcksIfFlushFails UT ha esito negativo con NullPointerException
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	Aggiornare `Spark2` alla versione 2.2.1 (16 gennaio)
BUG-92680	ATLAS-2288	Eccezione NoClassDefFoundError durante l'esecuzione dello script hive di importazione quando viene creata la tabella hbase tramite Hive
BUG-92760	ACCUMULO-4578	L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi
BUG-92797	HDFS-10267, HDFS-8496	Ridurre i conflitti di blocco datanode in determinati casi d'uso
BUG-92813	FLUME-2973	Deadlock nel sink hdfs
BUG-92957	HIVE-11266	Risultato errato di count (*) in base alle statistiche di tabella per le tabelle esterne
BUG-93018	ATLAS-2310	In disponibilità elevata, il nodo passivo reindirizza la richiesta con codifica URL errata
BUG-93116	RANGER-1957	Ranger Usersync non sincronizza periodicamente gli utenti o i gruppi quando è abilitata la sincronizzazione incrementale.
BUG-93361	HIVE-12360	Ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato
BUG-93426	CALCITE-2086	HTTP/413 in determinate circostanze a causa di intestazioni di autorizzazione di grandi dimensioni
BUG-93429	PHOENIX-3240	ClassCastException dal caricatore Pig
BUG-93485	N/D	Non è possibile ottenere mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException della tabella: tabella non trovata durante l'esecuzione dell'analisi della tabella sulle colonne in LLAP
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati
BUG-93550	N/D	Zeppelin %spark.r non funziona con spark1 a causa della mancata corrispondenza di versione di Scala
BUG-93910	HIVE-18293	Hive non riesce a comprimere le tabelle contenute all'interno di una cartella che non appartiene a identità che eseguono HiveMetaStore
BUG-93926	ZEPPELIN-3114	I Notebook e gli interpreti non vengono salvati in zeppelin dopo il test di stress >1d
BUG-93932	ATLAS-2320	classificazione "*" con query genera un'eccezione interna del server 500.
BUG-93948	YARN-7697	NM si arresta per memoria insufficiente a causa di un problema nell'aggregazione dei log (parte 1)
BUG-93965	ATLAS-2229	Ricerca DSL: l'attributo non di stringa orderby genera eccezioni
BUG-93986	YARN-7697	NM si arresta per memoria insufficiente a causa di un problema nell'aggregazione dei log (parte 2)
BUG-94030	ATLAS-2332	Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo
BUG-94080	YARN-3742, YARN-6061	Entrambi gli RM sono in modalità standby nel cluster protetto
BUG-94081	HIVE-18384	ConcurrentModificationException nella libreria `log4j2.x`
BUG-94168	N/D	Yarn RM smette di funzionare con l'errore di registro di sistema del servizio in stato non valido
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS deve supportare più `KMS Uris`
BUG-94345	HIVE-18429	La compattazione deve gestire un caso quando non viene prodotto alcun output
BUG-94372	ATLAS-2229	Query DSL: hive_table name = ["t1","t2"] genera un'eccezione di query DSL non valida
BUG-94381	HADOOP-13227, HDFS-13054	Gestione dell'ordine RequestHedgingProxyProvider RetryAction:FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR deve chiamare jobclient.close() per attivare la pulizia
BUG-94575	SPARK-22587	Il processo Spark non riesce se fs.defaultFS e l'applicazione jar sono in URL diversi
BUG-94791	SPARK-22793	Perdita di memoria nel Server Spark Thrift
BUG-94928	HDFS-11078	Correggere NPE in LazyPersistFileScrubber
BUG-95013	HIVE-18488	I lettori LLAP ORC non hanno alcuni controlli null
BUG-95077	HIVE-14205	Hive non supporta il tipo di unione con il formato di file AVRO
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend non dovrebbe ritenere attendibile un canale parzialmente attendibile
BUG-95201	HDFS-13060	Aggiunta di BlacklistBasedTrustedChannelResolver per TrustedChannelResolver
BUG-95284	HBASE-19395	[branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE
BUG-95301	HIVE-18517	Vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP
BUG-95542	HBASE-16135	PeerClusterZnode in rs del peer rimosso non può essere mai eliminato
BUG-95595	HIVE-15563	Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
BUG-95596	YARN-4126, YARN-5750	TestClientRMService ha esito negativo
BUG-96019	HIVE-18548	Correzione dell'importazione di `log4j`
BUG-96196	HDFS-13120	L'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione
BUG-96289	HDFS-11701	NPE dall'host non risolto causa errori di DFSInputStream permanenti
BUG-96291	STORM-2652	Eccezione generata nel metodo Open JmsSpout
BUG-96363	HIVE-18959	Evitare di creare pool extra di thread all'interno di LLAP
BUG-96390	HDFS-10453	Il thread di ReplicationMonitor thread può restare bloccato per molto tempo a causa di race tra la replica e la cancellazione dello stesso file in un cluster di grandi dimensioni.
BUG-96454	YARN-4593	Deadlock nell'AbstractService.getConfig()
BUG-96704	FALCON-2322	ClassCastException durante il feed submitAndSchedule
BUG-96720	SLIDER-1262	I test funzionali di Slider hanno esito negativo in ambiente `Kerberized`
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Aggiornare `Spark2` alla versione più recente (19 febbraio)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor esegue una conversione non corretta
BUG-97244	KNOX-1083	Il timeout predefinito HttpClient deve essere un valore ragionevole
BUG-97459	ZEPPELIN-3271	Opzione per la disabilitazione dell'utilità di pianificazione
BUG-97511	KNOX-1197	AnonymousAuthFilter non viene aggiunto quando authentication=Anonymous nel servizio
BUG-97601	HIVE-17479	Le directory di gestione temporanea non vengono ripulite dalle query di aggiornamento/eliminazione
BUG-97605	HIVE-18858	Proprietà di sistema nella configurazione del processo non risolte durante l'invio del processo MR
BUG-97674	OOZIE-3186	Oozie non è in grado di usare la configurazione collegata con jceks://file/...
BUG-97743	N/D	eccezione java.lang.NoClassDefFoundError durante la distribuzione della topologia storm
BUG-97756	PHOENIX-4576	Correzione dell'esito negativo dei test LocalIndexSplitMergeIT
BUG-97771	HDFS-11711	Il nome di dominio non dovrebbe eliminare il blocco sull'eccezione "Too many open files"
BUG-97869	KNOX-1190	Supporto SSO `Knox` per Google OIDC interrotto.
BUG-97879	PHOENIX-4489	Perdita di connessione HBase nei processi di MR Phoenix
BUG-98392	RANGER-2007	Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi
BUG-98484	N/D	La replica incrementale Hive nel cloud non funziona
BUG-98533	HBASE-19934, HBASE-20008	Il ripristino dello snapshot HBase ha esito negativo a causa dell'eccezione del puntatore Null
BUG-98555	PHOENIX-4662	NullPointerException in TableResultIterator.java su reinvio della cache
BUG-98579	HBASE-13716	Non usare FSConstants di Hadoop
BUG-98705	KNOX-1230	Numerose richieste simultanee per `Knox` provocano l'alterazione dell'URL
BUG-98983	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-99107	HIVE-19054	La replica della funzione deve usare "hive.repl.replica.functions.root.dir" come radice
BUG-99145	RANGER-2035	Errori di accesso a servicedefs con implClass vuota con back-end Oracle
BUG-99160	SLIDER-1259	Slider non funziona in ambienti multihomed
BUG-99239	ATLAS-2462	L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando
BUG-99301	ATLAS-2530	Nuova riga all'inizio dell'attributo del nome di hive_process e hive_column_lineage
BUG-99453	HIVE-19065	La verifica della compatibilità del client metastore deve includere syncMetaStoreClient
BUG-99521	N/D	ServerCache per HashJoin non viene ricreato quando viene ricreata l'istanza degli iteratori
BUG-99590	PHOENIX-3518	Perdita di memoria in RenewLeaseTask
BUG-99618	SPARK-23599, SPARK-23806	Aggiornare `Spark2` alla versione 2.3.0+ (28/3)
BUG-99672	ATLAS-2524	Hook Hive con notifiche V2 - gestione non corretta dell'operazione 'alter view as'
BUG-99809	HBASE-20375	Non usare getCurrentUserCredentials nel modulo hbase-spark

Supporto

ID bug	Apache JIRA	Riepilogo
BUG-87343	HIVE-18031	Supporto della replica per l'operazione Alter Database.
BUG-91293	RANGER-2060	Il proxy `Knox` con `knox-sso` non funziona per Ranger
BUG-93116	RANGER-1957	Ranger Usersync non sincronizza periodicamente gli utenti o i gruppi quando è abilitata la sincronizzazione incrementale.
BUG-93577	RANGER-1938	Solr per l'installazione di Audit non usa in modo efficace DocValues
BUG-96082	RANGER-1982	Miglioramento degli errori per Analytics Metric di Ranger Admin e per il `Kms` Ranger
BUG-96479	HDFS-12781	Dopo la chiusura di `Datanode`, la scheda `Datanode` dell'interfaccia utente di `Namenode` sta generando un messaggio di avviso.
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-98814	HDFS-13314	NameNode deve facoltativamente chiudersi in caso di danneggiamento di FsImage

Aggiorna

ID bug	Apache JIRA	Riepilogo
BUG-100134	SPARK-22919	Ripristino di "Bump Apache httpclient versions"
BUG-95823	N/D	`Knox`: Aggiornamento `Beanutils`
BUG-96751	KNOX-1076	Aggiornamento di nimbus-jose-jwt alla versione 4.41.2
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-99056	HADOOP-13556	Modifica di Configuration.getPropsWithPrefix per usare getProps invece dell'iteratore
BUG-99378	ATLAS-2461, ATLAS-2554	Utilità di migrazione per esportare i dati di Atlas nel grafico Titan DB

Usabilità

ID bug	Apache JIRA	Riepilogo
BUG-100045	HIVE-19056	IllegalArgumentException in FixAcidKeyIndex quando il file ORC ha zero righe
BUG-100139	KNOX-1243	Normalizzare i DN necessari che vengono configurati nel servizio `KnoxToken`
BUG-100570	ATLAS-2557	Correzione per consentire il `lookup` dei gruppi hadoop `ldap` quando ci sono gruppi da UGI impostati in modo errato o che non sono vuoti
BUG-100646	ATLAS-2102	Miglioramenti dell'interfaccia utente Atlas: pagina dei risultati della ricerca
BUG-100737	HIVE-19049	Aggiunta del supporto per Alter table aggiunta di colonne per Druid
BUG-100750	KNOX-1246	Aggiornamento configurazione del servizio in `Knox` per supportare le configurazioni più recenti per Ranger.
BUG-100965	ATLAS-2581	Regressione con le notifiche Hook Hive V2: spostamento della tabella in un altro database
BUG-84413	ATLAS-1964	Interfaccia utente: supporto per ordinare le colonne nella tabella di ricerca
BUG-90570	HDFS-11384, HDFS-12347	Aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode
BUG-90584	HBASE-19052	FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x
BUG-90979	KNOX-1224	`Knox` del proxy `HADispatcher` per supportare Atlas in disponibilità elevata.
BUG-91293	RANGER-2060	Proxy `Knox` con knox-sso non funziona per Ranger
BUG-92236	ATLAS-2281	Salvataggio delle query di filtro di attributo Tag/Type con i filtri null/not null.
BUG-92238	ATLAS-2282	La ricerca salvata preferita viene visualizzata solo dopo l'operazione di aggiornamento dopo la creazione quando sono presenti più di 25 ricerche preferite.
BUG-92333	ATLAS-2286	Il tipo precompilato "kafka_topic" non deve dichiarare l'attributo "topic" come univoco
BUG-92678	ATLAS-2276	Il valore del percorso per l'entità di tipo hdfs_path è impostato in lettere minuscole da hive-bridge.
BUG-93097	RANGER-1944	Il filtro delle azioni per il controllo di amministrazione non funziona
BUG-93135	HIVE-15874, HIVE-18189	Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true
BUG-93136	HIVE-18189	L'ordinamento in base alla posizione non funziona quando `cbo` è disabilitato
BUG-93387	HIVE-17600	Rendere configurabile dall'utente enforceBufferSize di OrcFile.
BUG-93495	RANGER-1937	Ranger `tagsync` deve elaborare la notifica ENTITY_CREATE per supportare funzionalità di importazione di Atlas
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati
BUG-93801	HBASE-19393	Head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL.
BUG-93804	HIVE-17419	Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate
BUG-93932	ATLAS-2320	classificazione "*" con query genera un'eccezione interna del server 500.
BUG-93933	ATLAS-2286	Il tipo precompilato "kafka_topic" non deve dichiarare l'attributo "topic" come univoco
BUG-93938	ATLAS-2283, ATLAS-2295	Aggiornamenti dell'interfaccia utente per le classificazioni
BUG-93941	ATLAS-2296, ATLAS-2307	Miglioramento della ricerca di base per escludere facoltativamente entità di sottotipo e tipi di classificazione secondaria
BUG-93944	ATLAS-2318	Interfaccia utente: facendo clic sul tag figlio due volte, viene selezionato il tag padre
BUG-93946	ATLAS-2319	Interfaccia utente: eliminazione di un tag che alla posizione 25+ dell'elenco di tag nella struttura piatta e in quella ad albero necessita di un aggiornamento per rimuovere il tag dall'elenco.
BUG-93977	HIVE-16232	Supporta il calcolo delle statistiche per le colonne in QuotedIdentifier
BUG-94030	ATLAS-2332	Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo
BUG-94099	ATLAS-2352	Il server Atlas deve fornire una configurazione per specificare la validità di DelegationToken Kerberos
BUG-94280	HIVE-12785	La visualizzazione con tipo di unione e UDF per eseguire il "cast" della struttura è interrotta
BUG-94332	SQOOP-2930	L'esecuzione del processo Sqoop non esegue l'override delle proprietà generiche del processo salvate
BUG-94428	N/D	Supporto `Dataplane` Profiler Agent REST API `Knox`
BUG-94514	ATLAS-2339	Interfaccia utente: le modifiche in "columns" nella visualizzazione dei risultati della ricerca di base influisce anche su DSL.
BUG-94515	ATLAS-2169	La richiesta di eliminazione ha esito negativo quando è configurata l'eliminazione definitiva
BUG-94518	ATLAS-2329	Atlas UI Multiple Hovers viene visualizzata se l'utente fa clic su un altro tag che non è corretto
BUG-94519	ATLAS-2272	Salvare lo stato delle colonne trascinate con l'API delle ricerche salvate.
BUG-94627	HIVE-17731	Aggiunta di un'opzione `compat` di compatibilità con le versioni precedenti per gli utenti esterni a HIVE-11985
BUG-94786	HIVE-6091	Vengono creati file `pipeout` vuoti per la creazione/chiusura della connessione
BUG-94793	HIVE-14013	La tabella di descrizione non mostra i caratteri Unicode in modo corretto
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Impostare spark.yarn.jars per correggere Spark 2.0 con Oozie
BUG-94901	HBASE-19285	Aggiunta di istogrammi di latenza per tabella
BUG-94908	ATLAS-1921	Interfaccia utente: Eseguire la ricerca usando gli attributi di entità e dei tratti: l'interfaccia utente non esegue la verifica di intervallo e consente di fornire valori fuori dai limiti per tipi di dati integrali e float.
BUG-95086	RANGER-1953	Miglioramento nell'elenco della pagina del gruppo di utenti
BUG-95193	SLIDER-1252	Esito negativo dell'agente Slider con errori di convalida SSL con Python 2.7.5-58
BUG-95314	YARN-7699	queueUsagePercentage sarà disponibile come INF per la chiamata all'api REST `getApp`
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Assegnazione delle tabelle di sistema ai server con la versione più recente
BUG-95392	ATLAS-2421	Aggiornamenti di notifica per il supporto delle strutture di dati V2
BUG-95476	RANGER-1966	L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto
BUG-95512	HIVE-18467	Supporto di eventi whole warehouse dump / load + create/drop database
BUG-95593	N/D	Estensione delle utilità Oozie DB per supportare la creazione della `sharelibSpark2`
BUG-95595	HIVE-15563	Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
BUG-95685	ATLAS-2422	Esportazione: esportazione basata sul tipo di supporto
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Non vengono usati indicatori per l'esecuzione di query in modo seriale
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	La vista partizionata ha esito negativo con FAILED: IndexOutOfBoundsException Index: 1, Size: 1
BUG-96019	HIVE-18548	Correzione dell'importazione di `log4j`
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backport Backup/ripristino HBase 2.0
BUG-96313	KNOX-1119	L'entità di sicurezza `Pac4J` OAuth/OpenID deve essere configurabile
BUG-96365	ATLAS-2442	L'utente con autorizzazione di sola lettura nella risorsa di entità non è in grado di eseguire la ricerca di base
BUG-96479	HDFS-12781	Dopo la chiusura di `Datanode`, la scheda `Datanode` dell'interfaccia utente di `Namenode` sta generando un messaggio di avviso.
BUG-96502	RANGER-1990	Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin
BUG-96718	ATLAS-2439	Aggiornamento dell'hook di Sqoop per usare le notifiche versione 2
BUG-96748	HIVE-18587	L'evento di inserimento DML può tentare di calcolare un checksum sulle directory
BUG-96821	HBASE-18212	In modalità autonoma con il file system locale HBase registra il messaggio di avviso: Failed to invoke 'unbuffer' method in class org.apache.hadoop.fs.FSDataInputStream. (Impossibile richiamare il metodo 'unbuffer' nella classe org.apache.hadoop.fs.FSDataInputStream)
BUG-96847	HIVE-18754	REPL STATUS deve supportare la clausola 'with'
BUG-96873	ATLAS-2443	Acquisire gli attributi di entità necessari nei messaggi DELETE in uscita
BUG-96880	SPARK-23230	Quando hive.default.fileformat è un tipo di file diverso, la creazione della tabella `textfile` causa un errore `serde`
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Miglioramento dell'analisi delle opzioni Spark
BUG-97100	RANGER-1984	I record del log di controllo di HBase potrebbero non visualizzare tutti i tag associati alla colonna a cui viene eseguito l'accesso
BUG-97110	PHOENIX-3789	Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably
BUG-97145	HIVE-12245, HIVE-17829	Commenti della colonna Supporto per una tabella di backup HBase
BUG-97409	HADOOP-15255	Supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping
BUG-97535	HIVE-18710	estensione di inheritPerms ad ACID in Hive 2.X
BUG-97742	OOZIE-1624	Criterio di esclusione per i JAR `sharelib`
BUG-97744	PHOENIX-3994	La priorità dell'indice RPC dipende ancora dalla proprietà controller factory in hbase-site.xml
BUG-97787	HIVE-18460	Compactor non trasmette le proprietà della tabella al writer Orc
BUG-97788	HIVE-18613	Estensione di JsonSerDe per supportare il tipo BINARY
BUG-97899	HIVE-18808	Rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo
BUG-98038	HIVE-18788	Pulizia degli input in JDBC PreparedStatement
BUG-98383	HIVE-18907	Creazione di utilità per risolvere il problema di indice di chiave acid da HIVE-18817
BUG-98388	RANGER-1828	Procedura consigliata per la codifica: aggiungere altre intestazioni in Ranger
BUG-98392	RANGER-2007	Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi
BUG-98533	HBASE-19934, HBASE-20008	Il ripristino dello snapshot HBase ha esito negativo a causa dell'eccezione del puntatore Null
BUG-98552	HBASE-18083, HBASE-18084	Rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner
BUG-98705	KNOX-1230	Numerose richieste simultanee per `Knox` provocano l'alterazione dell'URL
BUG-98711	N/D	L'invio NiFi non può usare l'SSL bidirezionale senza modifiche a service.xml
BUG-98880	OOZIE-3199	Rendere configurabili le restrizioni delle proprietà di sistema
BUG-98931	ATLAS-2491	Aggiornare l'hook di Hive per usare le notifiche Atlas v2
BUG-98983	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-99088	ATLAS-2511	Fornire opzioni per l'importazione selettiva del database/tabelle da Hive in Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Query di Spark non riuscita con l'eccezione "java.io.FileNotFoundException: hive-site.xml (Permission denied)"
BUG-99239	ATLAS-2462	L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando
BUG-99636	KNOX-1238	Correzione delle impostazioni Truststore personalizzate per il gateway
BUG-99650	KNOX-1223	Il proxy `Knox` di Zeppelin non reindirizza /api/ticket nel modo previsto
BUG-99804	OOZIE-2858	HiveMain, ShellMain e SparkMain non devono sovrascrivere le proprietà e i file di configurazione localmente
BUG-99805	OOZIE-2885	L'esecuzione delle azioni di Spark non necessita di Hive in classpath
BUG-99806	OOZIE-2845	Sostituzione del codice basato su reflection che imposta le variabili in HiveConf
BUG-99807	OOZIE-2844	Aumento della stabilità delle azioni Oozie quando `log4j`.properties è mancante o non leggibile
RMP-9995	AMBARI-22222	Passaggio a Druid per usare la directory /var/druid invece di /apps/druid sul disco locale

Modifiche comportamentali

Componente Apache	Apache JIRA	Riepilogo	Dettagli
Spark 2.3	N/D	Modifiche come documentato nelle Note sulla versione di Apache Spark	- È disponibile un documento relativo alla deprecazione ("Deprecation") e una guida sulle modifiche funzionali ("Change of behavior"), https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Per la parte SQL, è disponibile un'altra Guida dettagliata sulla migrazione ("Migration") dalla versione 2.2 alla 2.3, https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Il processo Spark viene completato correttamente, ma si verifica un errore di quota disco HDFS esaurita	Scenario: esecuzione di insert overwrite quando è impostata una quota nella cartella Cestino dell'utente che esegue il comando. Comportamento precedente: il processo ha esito positivo anche se non riesce a spostare i dati nel Cestino. Il risultato può erroneamente contenere alcuni dei dati presenti in precedenza nella tabella. Nuovo comportamento: quando il trasferimento nella cartella Cestino ha esito negativo, i file vengono eliminati definitivamente.
Kafka 1.0	N/D	Modifiche come documentato nelle Note sulla versione di Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive / Ranger		Sono richiesti dei criteri Ranger Hive aggiuntivi per INSERT OVERWRITE	Scenario: sono richiesti dei criteri Ranger Hive aggiuntivi per INSERT OVERWRITE Comportamento precedente: le query INSERT OVERWRITE Hive completate correttamente come di consueto. Nuovo comportamento: le query INSERT OVERWRITE Hive hanno esito negativo in modo imprevisto dopo l'aggiornamento a HDP 2.6 con l'errore: Errore durante la compilazione dell'istruzione: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/(state=42000,code=40000) A partire da HDP-2.6.0, le query INSERT OVERWRITE* Hive richiedono un criterio URI Ranger per consentire operazioni di scrittura, anche se l'utente dispone del privilegio di scrittura concesso tramite il criterio HDFS. Soluzione alternativa/Azione prevista del cliente: 1. Creare un nuovo criterio nel repository di Hive. 2. Nell'elenco a discesa in cui si visualizza Database, selezionare URI. 3. Aggiornare il percorso (esempio: /tmp/*) 4. Aggiungere gli utenti e il gruppo e salvare. 5. Riprovare a eseguire la query di inserimento.
HDFS	N/D	HDFS deve supportare più `KMS Uris`	Comportamento precedente: la proprietà dfs.encryption.key.provider.uri era usata per configurare il percorso del provider del Server di gestione delle chiavi. Nuovo comportamento: la proprietà dfs.encryption.key.provider.uri è deprecata a favore di hadoop.security.key.provider.path per la configurazione del percorso del provider del Server di gestione delle chiavi.
Zeppelin	ZEPPELIN-3271	Opzione per la disabilitazione dell'utilità di pianificazione	Componente interessato: Server Zeppelin Comportamento precedente: nelle versioni precedenti di Zeppelin, non era presente alcuna opzione per la disabilitazione dell'utilità di pianificazione. Nuovo comportamento: per impostazione predefinita, gli utenti non visualizzeranno più l'utilità di pianificazione, perché è disabilitata per impostazione predefinita. Soluzione alternativa/Azione prevista del cliente: se si desidera abilitare l'utilità di pianificazione, è necessario aggiungere azeppelin.notebook.cron.enable con valore true nel sito Zeppelin personalizzato nelle impostazioni di Zeppelin da Ambari.

Problemi noti

Integrazione di HDInsight con ADLS Gen 2 I cluster ESP HDInsight che usano Azure Data Lake Storage Gen 2 con autorizzazioni e directory utente presentano due problemi:
1. Le home directory per gli utenti non vengono create nel nodo head 1. Per risolvere il problema, creare le directory manualmente e modificare la proprietà con l'UPN del rispettivo utente.
2. Le autorizzazioni per la directory /hdp non sono attualmente impostate su 751. È necessario impostare i valori seguenti:
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Risultato non corretto a causa della regola OptimizeMetadataOnlyQuery
- [SPARK-23406] Bug nei self-join stream-stream
- I notebook di esempio di Spark non sono disponibili quando Azure Data Lake Storage (Gen2) è l'archivio predefinito del cluster.
Enterprise Security Package
- Il server Spark Thrift non accetta connessioni dai client ODBC. Passaggi della soluzione alternativa:
  1. Attendere circa 15 minuti dopo la creazione del cluster.
  2. Controllare l'interfaccia utente Ranger per verificare l'esistenza di hivesampletable_policy.
  3. Riavviare il servizio Spark. A questo punto la connessione del servizio token di sicurezza dovrebbe funzionare.
Soluzione alternativa per l'errore del controllo del servizio Ranger
- RANGER-1607: soluzione alternativa per l'errore del controllo del servizio Ranger durante l'aggiornamento a HDP 2.6.2 dalle precedenti versioni HDP.
  
  Nota
  
  Solo quando Ranger è abilitato per SSL.
Questo problema si verifica quando si prova a eseguire l'aggiornamento a HDP 2.6.1 dalle precedenti versioni HDP tramite Ambari. Ambari usa una chiamata Curl eseguire una verifica del servizio Ranger in Ambari. Se la versione JDK usata da Ambari è JDK 1.7, la chiamata Curl avrà esito negativo con l'errore seguente:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

La causa di questo errore è che la versione di Tomcat usata in Ranger è Tomcat-7.0.7*. L'uso di JDK 1.7 è in conflitto con crittografie predefinite fornite in Tomcat-7.0.7*.

È possibile risolvere questo problema in due modi:
- Aggiornare il pacchetto JDK usato in Ambari di JDK 1.7 a JDK 1.8 (vedere la sezione Change the JDK Version (modificare la versione di JDK) nella Guida di riferimento di Ambari).
- Se si desidera continuare a supportare un ambiente JDK 1.7:
  1. Aggiungere la proprietà ranger.tomcat.ciphers nella sezione ranger-admin-site nella configurazione Ambari Ranger con il valore seguente:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Se l'ambiente è configurato per il Server di gestione delle chiavi Ranger, aggiungere la proprietà ranger.tomcat.ciphers nella sezione theranger-kms-site nella configurazione di Ambari Ranger con il valore seguente:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Nota

I valori annotati sono esempi e potrebbero non essere indicativi dell'ambiente. Assicurarsi che il modo in cui si impostano queste proprietà corrisponda al modo in cui è configurato l'ambiente.
RangerUI: Escape del testo della condizione dei criteri immesso nel modulo criteri

Componente interessato: Ranger

Descrizione del problema

Se un utente desidera creare criteri con condizioni personalizzate e l'espressione o il testo contiene caratteri speciali, l'imposizione dei criteri non funzionerà. I caratteri speciali vengono convertiti in caratteri ASCII prima di salvare il criterio nel database.

Caratteri speciali: e <> " ` '

La condizione tags.attributes['type']='abc' ad esempio verrebbe convertita nel modo seguente dopo il salvataggio dei criteri.

tags.attds['dsds']='cssdfs'

È possibile visualizzare la condizione del criterio con questi caratteri aprendo il criterio in modalità di modifica.

Soluzione alternativa
- Opzione 1: creare/aggiornare i criteri tramite l'API REST di Ranger
  
  URL REST: http://<host>:6080/service/plugins/policies
  
  Creazione di criteri con condizioni:
  
  L'esempio seguente creerà criteri con tag come "tag-test" e li assegnerà al gruppo "public" con la condizione "astags.attr['type']=='abc" selezionando tutte le autorizzazioni dei componenti Hive, ad esempio selezione, aggiornamento, creazione, rilascio, modifica, indicizzazione, blocco, tutto.
  
  Esempio:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Aggiornamento di criteri esistenti con condizioni:
  
  L'esempio seguente aggiornerà i criteri con tag come "tag-test" e li assegnerà al gruppo public con la condizione "astags.attr'type'=='abc" selezionando tutte le autorizzazioni dei componenti Hive, ad esempio selezione, aggiornamento, creazione, rilascio, modifica, indicizzazione, blocco, tutto.
  
  URL REST: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  Esempio:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Opzione 2: applicare le modifiche JavaScript
  
  Passaggi per aggiornare il file JS:
  1. Trovare il file PermissionList.js in /usr/hdp/current/ranger-admin
  2. Trovare la definizione della funzione renderPolicyCondtion (N. riga: 404).
  3. Rimuovere la riga seguente da tale funzione, ovvero sotto la funzione di visualizzazione (riga n. 434)
    
    val = _.escape(val);//Line No:460
    
    Dopo aver rimosso la riga precedente, l'interfaccia utente di Ranger consentirà di creare criteri con condizione che possano contenere caratteri speciali e la valutazione del criterio sarà corretta.

Integrazione di HDInsight con ADLS Gen 2: problema di autorizzazioni e directory utente con i cluster ESP 1. Le home directory per gli utenti non vengono create nel nodo head 1. Per risolvere il problema, creare le directory manualmente e modificare la proprietà con l'UPN del rispettivo utente. 2. Le autorizzazioni per /hdp non sono attualmente impostate su 751. Deve essere impostato su: a. chmod 751 /hdp b. chmod –R 755 /hdp/apps

Deprecazione

Portale di OMS: è stato rimosso il collegamento dalla pagina delle risorse HDInsight che puntava al portale di OMS. In precedenza Monitoraggio di Azure usava il proprio portale, denominato portale di OMS, per gestire la configurazione e l'analisi dei dati raccolti. Tutte le funzionalità di questo portale sono state spostate al portale di Azure in cui continueranno a essere sviluppate. HDInsight ha deprecato il supporto per il portale di OMS. I clienti useranno l'integrazione dei log di Monitoraggio di Azure in HDInsight nel portale di Azure.
Spark 2.3:Deprecazioni della versione di Spark 2.3.0

Aggiornamento

Tutte queste funzionalità sono disponibili in HDInsight 3.6. Per ottenere la versione più recente di Spark, Kafka e R Server (Machine Learning Services), scegliere la versione di Spark, Kafka e ML Services quando si crea un cluster HDInsight 3.6. Per ottenere il supporto per ADLS, è possibile scegliere il tipo di archiviazione ADLS come un'opzione. I cluster esistenti non verranno aggiornati automaticamente a queste versioni.

Tutti i nuovi cluster creati dopo giugno 2018 otterranno automaticamente le correzioni di più di 1000 bug in tutti i progetti open source. Seguire questa guida per le procedure consigliate per l'aggiornamento a una versione più recente di HDInsight.

Condividi tramite

Note sulla versione archiviate

Riepilogo

Informazioni sulla versione

Data di rilascio: 30 agosto 2024

Problema risolto

Presto disponibile

Data di rilascio: 09 agosto 2024

Aggiornamenti

Data di rilascio: 05 luglio 2024

Problemi risolti

Data di rilascio: 19 giugno 2024

Problemi risolti

Data di rilascio: 16 maggio 2024

Data di rilascio: 15 aprile 2024

Data di rilascio: 15 febbraio 2024

Nuove funzionalità

Prossimamente

Passaggi successivi

Data di rilascio: 10 gennaio 2024

Problemi risolti

Prossimamente

Data di rilascio: 26 ottobre 2023

Novità

Prossimamente

Data di rilascio: 7 settembre 2023

Presto disponibile

Data di rilascio: 25 luglio 2023

Novità

Prossimamente

Data di rilascio: 08 maggio 2023

Data di rilascio: 28 febbraio 2023

Passaggi successivi

Data di rilascio: 12 dicembre 2022

Correzioni di bug open source

Data di rilascio: 10/08/2022

Nuova funzionalità

Fisso

Log analytics

Altre correzioni di bug

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug Hive

Problemi noti

Data di rilascio: 10/08/2022

Nuova funzionalità

Fisso

Log analytics

Altre correzioni di bug

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug Hive

Problemi noti

Data di rilascio: 03/06/2022

Principali caratteristiche della versione

Ambari

Correzioni di bug TEZ

Correzioni di bug di HBase

Correzioni di bug Hive

Data di rilascio: 10/03/2022

Spark 3.1 è ora disponibile a livello generale

Kafka 2.4 è ora disponibile a livello generale

Il tipo di dati Map in HWC è ora supportato in HDInsight 4.0

Nuove aree

Modifiche di backport del software open source

Di seguito sono riportati i problemi JIRA di Apache per backport del software open source di questa versione:

Informativa sulle funzionalità deprecate

Set di scalabilità di macchine virtuali di Azure in HDInsight

Il ridimensionamento dei carichi di lavoro HBase di Azure HDInsight sarà ora supportato solo usando la scalabilità manuale

Data di rilascio: 27/12/2021

Data di rilascio: 27/07/2021

Nuove funzionalità

Il supporto di Azure HDInsight per la connettività pubblica con restrizioni è disponibile a livello generale dal 15 ottobre 2021

Il supporto di Azure HDInsight per il collegamento privato di Azure è disponibile a livello generale dal 15 ottobre 2021

Nuova esperienza di integrazione di Monitoraggio di Azure (anteprima)

Deprecazione

Modifiche del comportamento

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Modifiche imminenti

Il componente LLAP predefinito nel cluster ESP Spark verrà rimosso

Correzione dei prezzi per le macchine virtuali HDInsight `Dv2`

Supporto della serie `Eav4`

Le dimensioni predefinite delle macchine virtuali del cluster sono cambiate in serie `Ev3`

Modifica delle dimensioni predefinite delle macchine virtuali del cluster in serie `Ev3`