Sdílet prostřednictvím

Co je nového v Analytics Platform System, datovém skladu MPP s horizontálním škálováním

  • Článek

Podívejte se, co je nového v nejnovějších aktualizacích zařízení pro systém APS (Microsoft Analytics Platform System). APS je škálovatelné zařízení pro nasazení na místní infrastruktuře, které hostuje Massively Parallel Processing (MPP) SQL Server Parallel Data Warehouse.

APS CU7.8

Datum vydání – listopad 2021

SCVMM2016

Software APS CU 7.8 přidává podporu pro offline instalaci SCVMM2016.

Aktualizace VMM pomocí nejnovější verze SQL.

Součástí vydání jsou také další aktualizace zabezpečení a opravy chyb.

APS CU7.7

Datum vydání – listopad 2020

SCVMM2016

Software APS CU7.7 upgraduje virtuální počítač VMM na Windows Server 2016 a nainstaluje SCVMM2016. SCVMM 2012 R2, který se právě používá, má datum konce životnosti července 2022. Novější SCVMM musí být podporován, což činí CU7.7 povinným upgradem. Zákazníci jsou vyzváni, aby co nejdříve upgradovali na CU7.7.

Cílový adaptér SSIS pro SQL Server 2019 jako cíl

Nový cílový adaptér APS SSIS, který podporuje SQL Server 2019 jako cíl nasazení, lze stáhnout z webu pro stahování .

APS CU7.6

Datum vydání – duben 2020

Přejmenovat sloupec

Po upgradu na CU7.6 budou zákazníci moct přejmenovat sloupec tabulky vytvořené uživatelem. Informace o syntaxi, příkladech, omezeních a dalších informacích najdete v RENAME (Transact-SQL).

Změnit zobrazení

Zákazníci teď budou moct měnit zobrazení. Pro více informací viz ALTER VIEW (Transact-SQL).

APS CU7.5

Datum vydání – září 2019

Změna externího zdroje dat

Zákazníci budou moct změnit definici externího zdroje dat pomocí aktualizace CU7.5. Zákazníci s vysokou dostupností uzlu s názvem Hadoop teď můžou změnit zdroj dat a změnit argumenty, když dojde k převzetí služeb při selhání. V případě APS je možné změnit pouze umístění, RESOURCE_MANAGER_LOCATION a CREDENTIAL. Podívejte se na úpravu externího zdroje dat pro více informací.

Podpora CDH 5.15 a 5.16 s PolyBase

PolyBase v APS s aktualizací CU7.5 nyní podporuje distribuce Hadoop ve verzích CDH 5.15 a 5.16 od Cloudera. Pro verze CDH 5.x použijte možnost 6.

Podpora Try_Convert a Try_Cast

CU7.5 APS teď podporuje funkce TRY_CAST a TRY_CONVERT tsql. Obě tyto funkce vrátí hodnotu převedenou na zadaný datový typ, pokud převod proběhne úspěšně; v opačném případě vrátí hodnotu null.

APS CU7.4

Datum vydání – květen 2019

Načítání velkých řádků pomocí Dwloaderu

Od APS CU7.4 budou zákazníci moci použít nový dwloader k načtení řádků do tabulek, které jsou větší než 32 kB (32 768 bajtů). Nový dwloader podporuje přepínač -l, který přebírá celočíselnou hodnotu mezi 32768 a 33554432 (v bajtech) pro načtení řádků větších než 32 kB. Tuto možnost použijte pouze při načítání velkých řádků (větších než 32 kB), protože tento přepínač přidělí klientovi a serveru více paměti a může zpomalit načítání. Nový dwloader si můžete stáhnout z webu pro stahování .

Podpora HDP 3.0 a 3.1 s PolyBase

PolyBase v APS nyní podporuje HDP 3.0 a 3.1 s touto aktualizací. Pro verze HDP 3.x použijte možnost 7. Další informace najdete na stránce připojení PolyBase.

Podpora souborů UTF16 s PolyBase

PolyBase teď podporuje čtení textových souborů s oddělovači, které jsou v kódování UTF16 (LE). Podrobnosti o nastavení najdete v vytvoření externího formátu souborů.

APS CU7.3

Datum vydání – prosinec 2018

Eliminace častých podvýrazů

APS CU7.3 zlepšuje výkon dotazů s běžnou eliminací dílčích výrazů v optimalizátoru dotazů SQL. Vylepšení zlepšuje dotazy dvěma způsoby. První výhodou je schopnost identifikovat a eliminovat takové výrazy, což pomáhá zkrátit dobu kompilace SQL. Druhou, důležitější výhodou je odstranění operací přesunu dat pro tyto redundantní dílčí výrazy, čímž se celková doba provádění dotazů zrychluje. Podrobné vysvětlení této funkce najdete zde.

Konektor APS Informatica pro verzi 10.2.0 byl publikován

Vydali jsme novou verzi konektorů Informatica pro APS, která funguje s Informatica verze 10.2.0 a 10.2.0 Hotfix 1. Nové konektory je možné stáhnout z webu pro stahování .

Poznámka

Konektor APS Informatica pro Informatica 10.2.0 nebo 10.2.0 Hotfix 1 nefunguje na přísném protokolu TLS1.2 a vyžaduje, aby protokol TLS1.0 a 1.1 byl plně funkční.

Podporované verze

Verze APS Informatica PowerCenter Řidič
APS 2016 9.6.1 SQL Server Native Client 11.x
APS 2016 a novější 10.2.0, 10.2.0 Hotfix 1 SQL Server Native Client 11.x

APS CU7.2

Datum vydání – říjen 2018

Podpora protokolu TLS 1.2

APS CU7.2 podporuje protokol TLS 1.2. Klientský stroj pro APS a komunikace uvnitř uzlu APS lze nyní nastavit tak, aby probíhala pouze přes protokol TLS1.2. Nástroje, jako jsou SSDT, SSIS a Dwloader nainstalované na klientských počítačích, které jsou nastavené tak, aby komunikovali pouze přes protokol TLS 1.2, se teď můžou připojit k APS pomocí protokolu TLS 1.2. Ve výchozím nastavení bude APS podporovat všechny verze protokolu TLS (1.0, 1.1 a 1.2) pro zpětnou kompatibilitu. Pokud chcete zařízení APS nastavit tak, aby výhradně používalo protokol TLS 1.2, můžete to udělat změnou nastavení registru.

Další informace najdete v tématu konfigurace protokolu TLS1.2 vAPS .

Podpora zón šifrování Hadoop pro PolyBase

PolyBase teď může komunikovat se zónami šifrování Hadoop. Podívejte se na změny konfigurace APS, které jsou potřeba pro zabezpečení Hadoop v.

možnosti maxdop Insert-Select

Přidali jsme přepínač vlastností , který umožňuje nastavit maxdop větší než 1 pro operace vkládání a výběru. Nastavení maxdop teď můžete nastavit na 0, 1, 2 nebo 4. Výchozí hodnota je 1.

Důležitý

Zvýšení maxdopu může někdy vést k pomalejším operacím nebo chybám zablokování. V takovém případě změňte nastavení zpět na maxdop 1 a zkuste operaci zopakovat.

Zobrazení zdravotního stavu indexu ColumnStore

Informace o stavu indexu columnstore můžete zobrazit pomocí dm_pdw_nodes_db_column_store_row_group_physical_stats zobrazení dynamické správy. Následující zobrazení vám umožní určit fragmentaci a rozhodnout, kdy znovu sestavit nebo změnit uspořádání indexu columnstore.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Zvýšení časového rozsahu PolyBase pro soubory ORC a Parquet

Čtení, import a export datových typů datumů pomocí PolyBase nyní podporuje data před 1970-01-01 a po 2038-01-20 pro typy souborů ORC a Parquet.

Cílový adaptér SSIS pro SQL Server 2017 jako cíl

Nový cílový adaptér APS SSIS, který podporuje nasazení na SQL Server 2017, lze stáhnout z stahovacího webu.

APS CU7.1

Datum vydání – červenec 2018

Příkazy DBCC nevyužívají sloty pro souběžné zpracování (změna chování)

APS podporuje podmnožinu příkazů T-SQL DBCC, jako je DBCC DROPCLEANBUFFERS. Dříve by tyto příkazy spotřebovaly slot souběžnosti snížení počtu uživatelských zatížení a dotazů, které by bylo možné spustit. Příkazy DBCC se teď spouští v místní frontě, která nevyužívá uživatelský paralelismus, což zlepšuje celkový výkon provádění dotazů.

Nahradí některá volání metadat objekty katalogu.

Použití objektů katalogu pro volání metadat místo použití SMO ukázalo zlepšení výkonu V APS. Od CU7.1 teď některá volání metadat ve výchozím nastavení používají objekty katalogu. Toto chování je možné vypnout přepínačem funkcí , pokud zákazníci, kteří používají dotazy na metadata, narazí na nějaké problémy.

Opravy chyb

Upgradovali jsme na SQL Server 2016 SP2 CU2 s APS CU7.1. Upgrade řeší některé problémy popsané níže.

Titul Popis
potenciální vzájemné zablokování řazené kolekce členů Upgrade opravuje dlouhotrvající možnost zablokování v distribuované transakci a vlákno pro přesun záznamů na pozadí. Po instalaci CU7.1 mohou zákazníci, kteří používali TF634 k zastavení pohybu záznamů jako spouštěcí parametr SQL Serveru nebo jako globální trasovací příznak, bezpečně tento parametr odstranit.
Selhání dotazu při zpoždění nebo předstihu Některé dotazy na tabulky CCI s vnořenými funkcemi zpoždění nebo posunu, které by způsobily chybu, jsou nyní opraveny díky tomuto upgradu.

APS AU7

Datum vydání – květen 2018

APS 2016 je předpokladem upgradu na AU7. V APS AU7 jsou uvedené nové funkce:

Automatické vytváření a automatické aktualizace statistik

APS AU7 ve výchozím nastavení vytváří a aktualizuje statistiky automaticky. Chcete-li aktualizovat nastavení statistiky, mohou správci použít novou položku nabídky přepínače funkcí v Configuration Manager. Přepínač funkcí řídí chování automatického vytváření, automatické aktualizace a asynchronní aktualizace statistik. Nastavení statistiky můžete aktualizovat také pomocí příkazu ALTER DATABASE (Parallel Data Warehouse).

T-SQL

Výběr @var je teď podporovaný. Další informace najdete v tématu výběr místní proměnné

Dotazové hinty HASH a ORDER GROUP jsou nyní podporovány. Další informace najdete v tématu Hints(Transact-SQL) – dotaz

Přepínač funkcí

APS AU7 zavádí přepínač funkcí v nástroji Configuration Manager. Funkce AutoStatsEnabled a DmsProcessStopMessageTimeoutInSeconds jsou nyní konfigurovatelné možnosti, které můžou správci změnit.

Známé problémy

U softwaru APS AU7 je k dispozici aktualizace systému Intel BIOS, která řeší problém popsaný jako spekulativní útoky na souběžné spuštění. Cílem útoků je zneužít zranitelnosti Spectre a Meltdown. I když je součástí APS, je aktualizace SYSTÉMU BIOS nainstalována ručně, a ne jako součást instalace softwaru APS AU7.

Společnost Microsoft doporučuje všem zákazníkům nainstalovat aktualizovaný systém BIOS. Společnost Microsoft změřila účinek stínování virtuálních adres jádra (KVAS), odklonění tabulek stránek jádra (KPTI) a zmírnění predikce nepřímého větvení (IBP) na různé SQL úlohy v různých prostředích. Měření zjistila významné snížení výkonu u některých úloh. Na základě výsledků doporučujeme otestovat účinek povolení aktualizace systému BIOS před jejich nasazením v produkčním prostředí. Pokyny k SQL Serveru najdete tady.

APS 2016

Tato část popisuje nové funkce pro APS 2016-AU6.

SQL Server 2016

APS AU6 běží na nejnovější verzi SQL Serveru 2016 a používá výchozí úroveň kompatibility databáze 130. SQL Server 2016 umožňuje podporu nových funkcí, jako jsou:

  • Sekundární indexy pro clusterované columnstore indexy.
  • Kerberos pro PolyBase.

T-SQL

APS AU6 podporuje tato vylepšení kompatibility T-SQL. Tyto další jazykové prvky usnadňují migraci z SQL Serveru a dalších zdrojů dat.

datové typy

Okenní funkce

Funkce zabezpečení

další funkce

Vylepšení PolyBase/Hadoop

  • Kompatibilita s Hortonworks HDP 2.4 a HDP 2.5
  • Podpora protokolu Kerberos prostřednictvím přihlašovacích údajů s vymezeným oborem databáze
  • Podpora přihlašovacích údajů pro objekty blob ve službě Azure Storage

Vylepšení instalace a aktualizace

Aktualizace Enterprise architektury Upgrade vašeho stávajícího zařízení na APS AU6 nainstaluje nejnovější aktualizace firmwaru a ovladačů, které zahrnují opravy zabezpečení.

Nové zařízení od HPE nebo DELL zahrnuje všechny nejnovější aktualizace a navíc:

  • Podpora procesoru nejnovější generace (Broadwell)
  • Aktualizace na DIMM DDR4
  • Vylepšená propustnost DIMM

integrace

  • Podpora plně kvalifikovaného názvu domény (FQDN) umožňuje nastavit pro zařízení vztah důvěryhodnosti domény.
  • Pokud chcete použít plně kvalifikovaný název domény, musíte provést úplný upgrade a přihlásit se během upgradu.

Snížení výpadků Instalace nebo upgrade na APS AU6 je rychlejší a vyžaduje méně výpadků než předchozí verze. Pro snížení výpadku při instalaci nebo upgradu:

  • Zjednodušuje instalaci aktualizací WSUS pomocí image, která obsahuje všechny aktualizace do června 2016.
  • Aplikuje aktualizace zabezpečení spolu s aktualizacemi ovladačů a firmwaru.
  • ** Umístí na vaše zařízení nejnovější opravy hotfix a nástroj pro ověření zařízení (PAV), takže jsou připravené k instalaci bez potřeby jejich stahování.