Condividi tramite

Novità di Analytics Platform System, un data warehouse MPP con scalabilità orizzontale

  • Articolo

Scopri le novità degli aggiornamenti delle appliance più recenti per Il sistema APS (Microsoft Analytics Platform System). APS è un'appliance locale con scalabilità orizzontale che ospita MPP SQL Server Parallel Data Warehouse.

APS CU7.8

Data di rilascio - Novembre 2021

SCVMM2016

Il software APS CU 7.8 aggiunge il supporto per l'installazione offline di SCVMM2016.

VMM aggiornato con la versione più recente di SQL.

Il rilascio include anche aggiornamenti aggiuntivi per la sicurezza e correzioni di bug.

APS CU7.7

Data di rilascio - Novembre 2020

SCVMM2016

APS CU7.7 aggiorna la macchina virtuale VMM a Windows Server 2016 e installa SCVMM2016. SCVMM 2012 R2 attualmente in uso ha una data di fine vita di luglio 2022. È necessario che la versione più recente di SCVMM sia supportata rendendo CU7.7 un aggiornamento obbligatorio. I clienti sono invitati a eseguire l'aggiornamento a CU7.7 il prima possibile.

Adattatore di destinazione SSIS per SQL Server 2019 come target

È possibile scaricare un nuovo adattatore di destinazione APS SSIS che supporta SQL Server 2019 come destinazione di distribuzione dal sito di download .

APS CU7.6

Data di rilascio - Aprile 2020

Rinomina colonna

Dopo l'aggiornamento a CU7.6, i clienti potranno rinominare una colonna di una tabella creata dall'utente. Vedere RENAME (Transact-SQL) per informazioni su sintassi, esempi, limitazioni e altre informazioni.

Modifica visualizzazione

I clienti potranno ora modificare le visualizzazioni. Per altre informazioni, vedere ALTER VIEW (Transact-SQL).

APS CU7.5

Data di rilascio - Settembre 2019

Modificare Origine Dati Esterna

I clienti potranno modificare la definizione dell'origine dati esterna con l'aggiornamento CU7.5. I clienti con alta disponibilità del name node Hadoop possono ora modificare l'origine dati per cambiare gli argomenti in caso di failover. Per APS, è possibile modificare solo la LOCATION, RESOURCE_MANAGER_LOCATION e CREDENTIAL. Per altre informazioni, vedere modificare l'origine dati esterna.

Supporto di CDH 5.15 e 5.16 con PolyBase

PolyBase in APS con aggiornamento CU7.5 ora supporta le versioni CDH 5.15 e 5.16 della distribuzione Hadoop da Cloudera. Usare l'opzione 6 per le versioni di CDH 5.x.

supporto di Try_Convert e Try_Cast

CU7.5 APS supporta ora funzioni tsql TRY_CAST e TRY_CONVERT. Entrambe queste funzioni restituiscono un valore convertito nel tipo di dati specificato se la conversione ha esito positivo; in caso contrario, restituisce null.

APS CU7.4

Data di rilascio - Maggio 2019

Caricamento di righe di grandi dimensioni con dwloader

A partire da APS CU7.4, i clienti potranno usare un nuovo dwloader per caricare le righe in tabelle con dimensioni superiori a 32 KB (32.768 byte). Il nuovo dwloader supporta l'opzione -l che accetta un valore intero compreso tra 32768 e 33554432 (in byte) per caricare righe superiori a 32 KB. Usare questa opzione solo quando si caricano righe di grandi dimensioni (maggiori di 32 KB) perché questa opzione allocherà più memoria nel client e nel server e potrebbe rallentare i caricamenti. È possibile scaricare il nuovo dwloader dal sito per il download .

Supporto di HDP 3.0 e 3.1 con PolyBase

PolyBase in APS supporta ora HDP 3.0 e 3.1 con questo aggiornamento. Usare l'opzione 7 per le versioni hdp 3.x. Per ulteriori informazioni, consultare la pagina connettività PolyBase.

Supporto dei file UTF16 con PolyBase

PolyBase supporta ora la lettura di file di testo delimitati nella codifica UTF16 (LE). Per informazioni dettagliate sull'installazione, vedere creare un formato di file esterno.

APS CU7.3

Data di rilascio - Dicembre 2018

Eliminazione di sottoespressione comune

APS CU7.3 migliora le prestazioni delle query con l'eliminazione di sottoespressione comune in Query Optimizer SQL. Il miglioramento ottimizza le query in due modi. Il primo vantaggio è la possibilità di identificare ed eliminare tali espressioni per ridurre il tempo di compilazione SQL. Il secondo e più importante vantaggio è che le operazioni di spostamento dei dati per queste sottoespressioni ridondanti vengono eliminate, quindi il tempo di esecuzione per le query diventa più veloce. La spiegazione dettagliata di questa funzionalità è disponibile qui.

Connettore APS Informatica per Informatica 10.2.0 pubblicato

È stata rilasciata una nuova versione dei connettori Informatica per APS che funziona con Informatica versione 10.2.0 e 10.2.0 Hotfix 1. I nuovi connettori possono essere scaricati dal sito di download .

Nota

Il connettore APS Informatica per Informatica 10.2.0 o 10.2.0 Hotfix 1 non funziona su TLS1.2 in modalità rigorosa e richiede TLS1.0 e 1.1 per essere completamente funzionante.

Versioni supportate

Versione di APS Informatica PowerCenter Autista
APS 2016 9.6.1 SQL Server Native Client 11.x
APS 2016 e versioni successive 10.2.0, 10.2.0 Correzione rapida 1 SQL Server Native Client 11.x

APS CU7.2

Data di rilascio - Ottobre 2018

Supporto per TLS 1.2

APS CU7.2 supporta TLS 1.2. È ora possibile impostare la comunicazione tra computer client e APS e la comunicazione intra-nodo APS per avvenire esclusivamente tramite TLS1.2. Gli strumenti come SSDT, SSIS e Dwloader installati nei computer client impostati per comunicare solo tramite TLS 1.2 possono ora connettersi ad APS usando TLS 1.2. Per impostazione predefinita, APS supporterà tutte le versioni TLS (1.0, 1.1 e 1.2) per la compatibilità con le versioni precedenti. Se si vuole impostare l'appliance APS per usare rigorosamente TLS 1.2, è possibile farlo modificando le impostazioni del Registro di sistema.

Per altre informazioni, vedere configurare TLS1.2 su APS.

Supporto della zona di crittografia Hadoop per PolyBase

PolyBase ora può comunicare con le zone di crittografia Hadoop. Vedere Modifiche alla configurazione di APS necessarie in configurare la sicurezza di Hadoop.

Insert-Select Opzioni Maxdop

Abbiamo aggiunto un switch di funzionalità che consente di selezionare impostazioni di maxdop maggiori di 1 per le operazioni di inserimento-selezione. È ora possibile impostare l'impostazione maxdop su 0, 1, 2 o 4. Il valore predefinito è 1.

Importante

L'aumento di maxdop può talvolta comportare operazioni più lente o errori di deadlock. In tal caso, modificare nuovamente l'impostazione su maxdop 1 e ripetere l'operazione.

DMV sull'integrità dell'indice ColumnStore

È possibile visualizzare le informazioni sull'integrità dell'indice columnstore usando dm_pdw_nodes_db_column_store_row_group_physical_stats dmv. Usare la visualizzazione seguente per determinare la frammentazione e decidere quando ricompilare o riorganizzare un indice columnstore.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Aumento dell'intervallo di date PolyBase per i file ORC e Parquet

La lettura, l'importazione e l'esportazione dei tipi di dati di data con PolyBase supportano ora date precedenti al 1970-01-01 e dopo il 2038-01-20 per i tipi di file ORC e Parquet.

Adattatore di destinazione SSIS per SQL Server 2017 come target

È possibile scaricare un nuovo adattatore di destinazione APS SSIS che supporta SQL Server 2017 come obiettivo di distribuzione dal sito di download .

APS CU7.1

Data di rilascio - Luglio 2018

I comandi DBCC non usano slot di concorrenza (modifica del comportamento)

APS supporta un subset dei comandi DBCC T-SQL, ad esempio DBCC DROPCLEANBUFFERS. In precedenza, questi comandi utilizzavano uno slot di concorrenza riducendo il numero di operazioni utente che potevano essere eseguite. I comandi DBCC vengono ora eseguiti in una coda locale che non utilizzano uno slot di concorrenza utente migliorando le prestazioni complessive dell'esecuzione delle query.

Sostituisce alcune chiamate di metadati con oggetti catalogo

L'uso di oggetti catalogo per le chiamate di metadati anziché l'uso di SMO ha mostrato un miglioramento delle prestazioni in APS. A partire da CU7.1, alcune di queste chiamate di metadati ora usano oggetti catalogo per impostazione predefinita. Questo comportamento può essere disattivato tramite l'opzione di funzionalità se i clienti che usano query di metadati incontrano problemi.

Correzioni di bug

È stato eseguito l'aggiornamento a SQL Server 2016 SP2 CU2 con APS CU7.1. L'aggiornamento risolve alcuni problemi descritti di seguito.

Titolo Descrizione
Deadlock potenziale del mover di tuple L'aggiornamento corregge una possibilità di deadlock di lunga data in una transazione distribuita e un thread in background per lo spostamento delle tuple. Dopo aver installato CU7.1, i clienti che hanno utilizzato TF634 per arrestare lo spostamento delle tuple come parametro di avvio di SQL Server o come flag di traccia globale possono rimuoverlo in tutta sicurezza.
La query di ritardo/anticipo non riesce Alcune query sulle tabelle CCI con funzioni di ritardo/lead annidate che potrebbero generare errori sono state corrette con questo aggiornamento.

APS AU7

Data di rilascio - Maggio 2018

APS 2016 è un prerequisito per l'aggiornamento all'AU7. Di seguito sono riportate le nuove funzionalità di APS AU7:

Creazione automatica e aggiornamento automatico delle statistiche

APS AU7 crea e aggiorna automaticamente le statistiche, per impostazione predefinita. Per aggiornare le impostazioni delle statistiche, gli amministratori possono usare una nuova voce di menu del commutatore di funzionalità nel Configuration Manager. L'opzione di funzionalità controlla il comportamento di creazione automatica, aggiornamento automatico e aggiornamento asincrono delle statistiche. È anche possibile aggiornare le impostazioni delle statistiche con l'istruzione ALTER DATABASE (Parallel Data Warehouse).

T-SQL

La selezione @var è ora supportata. Per altre informazioni, vedere selezionare la variabile locale

I suggerimenti per le query HASH e ORDER GROUP sono ora supportati. Per altre informazioni, vedere Hint (Transact-SQL) - Query

Selettore di funzionalità

APS AU7 introduce il commutatore di funzionalità in Configuration Manager. AutoStatsEnabled e DmsProcessStopMessageTimeoutInSeconds sono ora opzioni configurabili che possono essere modificate dagli amministratori.

Problemi noti

Con il software APS AU7, viene fornito un aggiornamento DEL BIOS Intel che risolve un problema descritto come attacchi lato canale di esecuzione speculativa. Gli attacchi mirano a sfruttare le vulnerabilità Spectre e Meltdown. Anche se in pacchetto insieme ad APS, l'aggiornamento del BIOS viene installato manualmente e non come parte dell'installazione del software APS AU7.

Microsoft consiglia a tutti i clienti di installare il BIOS aggiornato. Microsoft ha misurato l'effetto di KVAS (Kernel Virtual Address Shadowing), Kernel Page Table Indirection (KPTI) e Indirect Branch Prediction mitigation (IBP) in vari carichi di lavoro SQL in vari ambienti. Le misurazioni hanno rilevato una riduzione significativa di alcuni carichi di lavoro. In base ai risultati, è consigliabile testare l'effetto delle prestazioni dell'abilitazione dell'aggiornamento BIOS prima di distribuirli in un ambiente di produzione. Consultare le linee guida di SQL Server qui.

APS 2016

Questa sezione descrive le nuove funzionalità per APS 2016-AU6.

SQL Server 2016

APS AU6 viene eseguito nella versione più recente di SQL Server 2016 e usa il livello di compatibilità predefinito del database 130. SQL Server 2016 abilita il supporto per le nuove funzionalità, ad esempio:

  • Indici secondari per gli indici columnstore clusterizzati.
  • Kerberos per PolyBase.

T-SQL

APS AU6 supporta questi miglioramenti della compatibilità T-SQL. Questi elementi del linguaggio aggiuntivi semplificano la migrazione da SQL Server e da altre origini dati.

tipi di dati

funzioni finestra

funzioni di sicurezza

Funzioni aggiuntive

Miglioramenti di PolyBase/Hadoop

  • Compatibilità con Hortonworks HDP 2.4 e HDP 2.5
  • Supporto Kerberos tramite credenziali con ambito database
  • Supporto delle credenziali per i Blob di Archiviazione di Azure

Miglioramenti per l'installazione e l'aggiornamento

Aggiornamenti dell'architettura enterprise L'aggiornamento dell'appliance esistente ad APS AU6 installa gli aggiornamenti più recenti del firmware e dei driver, tra cui correzioni per la sicurezza.

Una nuova appliance di HPE o DELL include tutti gli aggiornamenti più recenti e altro ancora:

  • Supporto del processore di ultima generazione (Broadwell)
  • Aggiornamento a DIMM DDR4
  • Velocità effettiva DIMM migliorata

integrazione

  • Il supporto completo del nome di dominio (FQDN) consente di configurare un trust di dominio nell'appliance.
  • Per usare il nome di dominio completo, è necessario eseguire un aggiornamento completo e acconsentire esplicitamente durante l'aggiornamento.

Riduzione del tempo di inattività L'installazione o l'aggiornamento ad APS AU6 è più veloce e richiede meno tempo di inattività rispetto alle versioni precedenti. Per ridurre i tempi di inattività, eseguire l'installazione o l'aggiornamento:

  • Semplifica l'applicazione degli aggiornamenti WSUS tramite un'immagine che contiene tutti gli aggiornamenti fino a giugno 2016
  • Applica gli aggiornamenti della sicurezza con gli aggiornamenti del driver e del firmware
  • Inserisce gli hotfix più recenti e l'utilità di verifica dell'appliance (PAV) nell'appliance in modo che siano pronti per l'installazione senza bisogno di scaricarli.