Compartilhar via

O que há de novo no Analytics Platform System, um armazém de dados MPP expandido

  • Artigo

Veja o que há de novo nas mais recentes atualizações de dispositivo do Microsoft Analytics Platform System (APS). O APS é um dispositivo local de expansão que hospeda o MPP SQL Server Parallel Data Warehouse.

APS CU7.8

Data de lançamento: - novembro de 2021

SCVMM2016

O software APS 7.8 adiciona o suporte para a instalação offline do SCVMM2016.

VMM corrigido com a versão mais recente do SQL.

O lançamento também inclui atualizações de segurança adicionais e correções de bugs.

APS CU7.7

Data de lançamento - novembro de 2020

SCVMM2016

O software APS CU7.7 atualiza a VM do VMM para o Windows Server 2016 e instala o SCVMM2016. A data do fim de vida útil do SCVMM 2012 R2, que está atualmente em uso, é julho de 2022. Para ter suporte, é necessário o SCVMM mais recente, o que torna a atualização do CU7.7 obrigatória. Incentivamos os clientes a atualizarem para CU7.7 o mais rápido possível.

Adaptador de destino SSIS para o SQL Server 2019 como destino

O novo adaptador de destino SSIS do APS que oferece suporte ao SQL Server 2019 como destino de implantação pode ser baixado no site de download.

APS CU7.6

Data de lançamento - abril de 2020

Renomear coluna

Depois de atualizar para o CU7.6, os clientes poderão renomear uma coluna de uma tabela criada pelo usuário. Consulte RENAME (Transact-SQL) para obter sintaxe, exemplos, limitações e mais informações.

Alteração de vizualizações

Agora os clientes poderão alterar as visualizações. Para obter mais informações, consulte ALTER VIEW (Transact-SQL).

APS CU7.5

Data de lançamento - setembro de 2019

Alteração de qualquer fonte de dado externa

Com a atualização CU7.5.Os clientes poderão alterar a definição da fonte de dados externa. Aqueles com alta disponibilidade do nó de nome do Hadoop passam a poder alterar a fonte de dados para alterar os argumentos quando ocorrer um failover. . Para o APS, apenas LOCAL, RESOURCE_MANAGER_LOCATION e CREDENCIAL podem ser alterados. Para obter mais informações, consulte alterar fonte de dados externa.

Suporte a CDH 5.15 e 5.16 com o PolyBase

O PolyBase no APS com atualização CU7.5 agora oferece suporte às versões CDH 5.15 e 5.16 da distribuição de Hadoop do Cloudera. Use a opção 6 para versões CDH 5.x.

Try_Convert e suporte Try_Cast

O APS CU7.5 agora suporta as funções tsql TRY_CAST e TRY_CONVERT. As duas funções retornam um valor convertido para o tipo de dados especificado se a conversão for bem-sucedida. Caso contrário, retornará null.

APS CU7.4

Data do lançamento - maio de 2019

Carregamento de linhas grandes com dwloader

A partir do APS CU7.4, os clientes poderão usar um novo dwloader para carregar linhas em tabelas maiores que 32 KB (32.768 bytes). O novo dwloader suporta a opção -l, que usa um valor inteiro entre 32768 e 33554432 (em bytes) para carregar linhas maiores que 32 KB. Use essa opção somente ao carregar linhas grandes (maiores que 32 KB), pois ela alocará mais memória no cliente e no servidor e poderá diminuir as cargas. Você pode baixar o novo dwloader no site de download.

Suporte a HDP 3.0 e 3.1 com o PolyBase

Com essa atualização, o PolyBase no APS passa a suportar HDP 3.0 e 3.1. Use a opção 7 para versões HDP 3.x. Para saber mais, consulteConectividade do PolyBase.

Suporte a arquivos UTF16 com o PolyBase

O PolyBase agora oferece suporte à leitura de arquivos de texto delimitados que estão na codificação UTF16 (LE). Para obter mais detalhes sobre a configuração, consulte criar formato de arquivo externo.

APS CU7.3

Data de lançamento - dezembro de 2018

Eliminação de subexpressão comum

O APS CU7.3 melhora o desempenho da consulta eliminando as subexpressões comuns no otimizador de consulta do SQL. Essa melhoria aprimora as consultas de duas maneiras. O primeiro benefício é a capacidade de identificar e eliminar essas expressões, ajudando a reduzir o tempo de compilação SQL. O segundo e mais importante benefício é que as operações de movimentação de dados para essas subexpressões redundantes são eliminadas. Dessa forma, o tempo de execução das consultas fica mais rápido. Obtenha aqui ums explicação detalhada desse recurso.

Conector APS Informatica para o Informatica 10.2.0 já publicado

Lançamos uma nova versão dos conectores Informatica para APS que funciona com o Informatica versão 10.2.0 e versão 10.2.0 Hotfix 1. Os novos conectores podem ser baixados no site de download.

Observação

O conector APS Informatica para Informatica 10.2.0 ou 10.2.0 Hotfix 1 não funciona em TLS1.2 estrito e requer TLS1.0 e 1.1 para ser totalmente funcional.

Versões compatíveis

Versão da APS Informatica PowerCenter Driver
APS 2016 9.6.1 SQL Server Native Client 11.x
API 2016 e posteriores 10.2.0, 10.2.0 Hotfix 1 SQL Server Native Client 11.x

APS CU7.2

Data de lançamento - outubro de 2018

Suporte para o TLS 1.2

O APS CU7.2 suporta o TLS 1.2. A máquina cliente para o APS e a comunicação intra-nó do APS agora podem ser configuradas para se comunicar somente pelo TLS1.2. Ferramentas como SSDT, SSIS e Dwloader instaladas em máquinas cliente definidas para se comunicar somente pelo TLS 1.2 podem se conectar ao APS usando o TLS 1.2. Por padrão, o APS oferecerá suporte a todas as versões TLS (1.0, 1.1 e 1.2) para compatibilidade com versões anteriores. Se você deseja configurar seu dispositivo APS para usar somete o TLS 1.2, pode fazê-lo alterando as configurações do registro.

Para obter mais informações, consulte configurar o TLS1.2 no APS.

Suporte da zona de criptografia do Hadoop para o PolyBase

O PolyBase agora pode se comunicar com zonas de criptografia do Hadoop. Consulte as alterações necessárias de configuração do APS em configurar a segurança do Hadoop.

Opções Inserir-Selecionar do maxdop

Adicionamos um recurso de comutação que permite que a escolha de configurações do maxdop maiores que 1 para operações de inserção-seleção. Agora você pode definir a configuração do maxdop como 0, 1, 2 ou 4. O padrão é 1.

Importante

O aumento do maxdop às vezes pode resultar em operações mais lentas ou erros de deadlock. Caso isso ocorra, retorne a configuração para maxdop 1 e tente realizar a operação novamente.

Índice columnstore de integridade do DMV

Você pode exibir as informações de integridade do índice columnstore usando dm_pdw_nodes_db_column_store_row_group_physical_stats dmv. Use o modo de exibição a seguir para determinar a fragmentação e decidir quando recriar ou reorganizar um índice columnstore.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Aumento do intervalo de datas do PolyBase para arquivos ORC e Parquet

A leitura, a importação e a exportação de tipos de dados de data usando o PolyBase agora oferecem suporte a datas anteriores a 01/01/1970 e posteriores a 20/01/2038 para tipos de arquivo ORC e Parquet.

Adaptador de destino SSIS para o SQL Server 2017 como destino

O novo adaptador de destino SSIS do APS que oferece suporte ao SQL Server 2017 como destino de implantação pode ser baixado no site de download

APS CU7.1

Data de lançamento - julho de 2018

Comandos DBCC não consomem slots de simultaneidade (alteração de comportamento)

O SQL Data Warehouse é compatível com um subconjunto dos comandos DBCC do T-SQL, como DBCC DROPCLEANBUFFERS. Anteriormente, esses comandos consumiriam um slot de simultaneidade, reduzindo o número de carregamentos/consultas do usuário que poderiam ser executadas. Os comandos DBCC agora são executados em uma fila local que não consome um slot de simultaneidade, melhorando o desempenho geral de execução de consulta.

Substitui algumas chamadas de metadados por objetos de catálogo

O uso de objetos de catálogo para chamadas de metadados em vez do uso do SMO tem resultado em melhora de desempenho no APS. A partir do CU7.1, algumas dessas chamadas de metadados usarão objetos de catálogo por padrão. Esse comportamento pode ser desativado via a opção de recurso caso clientes que usam consultas de metadados tiverem problemas.

Correções de bugs

Atualizamos para o SQL Server 2016 SP2 CU2 com o APS CU7.1. A atualização corrige alguns problemas descritos abaixo.

Título Descrição
Possível deadlock no motor de tupla A atualização corrige uma possibilidade antiga de que ocorresse um deadlock em uma transação distribuída e thread em segundo plano do motor de tupla. Depois de instalar o CU7.1, os clientes que usaram o TF634 para interromper o motor de tupla como parâmetro de inicialização do SQL Server ou como sinalizador de rastreamento global podem removê-lo com segurança.
Falha em determinadas consultas de lag/lead Determinadas consultas em tabelas CCI com funções de lag/lead aninhadas que retornariam erro foram corrigidas com essa atualização.

APS AU7

Data de lançamento - maio de 2018

O APS 2016 é um pré-requisito para atualizar para o AU7. A seguir veja novos recursos no APS AU7:

Criação e atualização automática de estatísticas

O APS AU7 cria e atualiza estatísticas automaticamente, por padrão. Para atualizar as configurações de estatísticas, os administradores podem usar um novo item de menu da opção de recurso no Gerenciador de Configurações. A opção de recurso controla o comportamento de criação automática, atualização automática e atualização assíncrona de estatísticas. Você também pode atualizar as configurações de estatísticas com a instrução ALTER DATABASE (Parallel Data Warehouse).

T-SQL

A opção Select @var agora tem suporte. Para obter mais informações, consulte selecionar variáveis locais

As dicas de consulta HASH e ORDER GROUP agora têm suporte. Para obter mais informações, veja Dicas(Transact-SQL) - Consulta

Opção de recurso

O APS AU7 introduz a opção de recurso no Gerenciador de Configurações. AutoStatsEnabled e DmsProcessStopMessageTimeoutInSeconds passaram a ser opções configuráveis que podem ser alteradas pelos administradores.

Problemas conhecidos

Com o software APS AU7, é fornecida uma atualização do BIOS Intel que corrige um problema descrito como ataques de temporização de execução especulativa. Os ataques visam a explorar as chamadas vulnerabilidades Spectre e Meltdown. Embora fornecida junto com o APS, a atualização do BIOS deve ser instalada manualmente, e não como parte da instalação do software APS AU7.

A Microsoft aconselha todos os clientes a instalar o BIOS atualizado. A Microsoft mediu o efeito do KVAS (Kernel Virtual Address Shadowing), do KPTI (Kernel Page Table Indirection) e do IBP (Indirect Branch Prediction) em várias cargas de trabalho do SQL em vários ambientes. As medições encontraram degradação significativa em algumas cargas de trabalho. Com base nos resultados, a recomendação é que você teste o efeito da habilitação da atualização do BIOS no desempenho antes de implantá-los em um ambiente de produção. Consulte as diretrizes do SQL Server aqui.

APS 2016

Esta seção descreveu os novos recursos do APS 2016-AU6.

SQL Server 2016

O APS AU6 é executado na versão mais recente do SQL Server 2016 e usa o nível de compatibilidade do banco de dados padrão 130. O SQL Server 2016 habilita a compatibilidade com novos recursos, como:

  • Índices secundários para índices columnstore clusterizados.
  • Kerberos para PolyBase.

T-SQL

O APS AU6 oferece suporte a essas melhorias de compatibilidade T-SQL. Esses elementos de linguagem adicionais facilitam a migração do SQL Server e de outras fontes de dados.

Tipos de dados

Funções da janela

Funções de segurança

Funções adicionais

Aprimoramentos do PolyBase/Hadoop

  • Compatibilidade com Hortonworks HDP 2.4 e HDP 2.5
  • Suporte a Kerberos por meio de credenciais com escopo de banco de dados
  • Suporte de credenciais com o Azure Storage Blobs

Aprimoramentos de instalação e atualização

Atualizações de arquitetura do Entrerprise A atualização do atual dispositivo para o APS AU6 instala as atualizações mais recentes de firmware e driver, que incluem correções de segurança.

Um dispositivo novo da HPE ou da DELL inclui todas as atualizações mais recentes, além de:

  • Suporte a processadores de última geração (Broadwell)
  • Atualização para DIMMs DDR4
  • Taxa de transferência DIMM melhorada

Integração

  • O suporte ao FQDN (Fully Qualified Domain Name) possibilita a configuração de uma confiança de domínio para o dispositivo.
  • Para usar o FQDN, é necessário realizar uma atualização completa e aceitar seu uso durante a atualização.

Redução do tempo de inatividade A instalação ou atualização para o APS AU6 é mais rápida e requer menos tempo de inatividade do que as versões anteriores. Para reduzir o tempo de inatividade, a instalação ou atualização:

  • Simplifica a aplicação de atualizações do WSUS usando uma imagem contendo todas as atualizações até junho de 2016
  • Aplica as atualizações de segurança com as atualizações de driver e firmware
  • Coloca no seu dispositivo os hotfixes mais recentes e o utilitário de verificação do dispositivo (PAV), para que eles estejam prontos para serem instalados sem a necessidade downloads.