Novidades e planos para o Data Warehouse no Microsoft Fabric
Importante
Os planos de lançamento descrevem a funcionalidade que pode ou não ter sido lançada ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou não podem ser enviados. Consulte a política da Microsoft para obter mais informações.
O Data Warehouse no Microsoft Fabric é o primeiro data warehouse que oferece suporte a transações de várias tabelas e adota nativamente um formato de dados aberto. O warehouse é construído no robusto otimizador de consulta do SQL Server e em um mecanismo de processamento de consulta distribuído de nível empresarial que elimina a necessidade de configuração e gerenciamento. O Data Warehouse no Microsoft Fabric integra-se perfeitamente ao Data Factory para ingestão de dados, ao Power BI para análise e geração de relatórios e ao Synapse Spark para ciência de dados e aprendizado de máquina. Ele simplifica os investimentos em análise de uma organização convergindo data lakes e warehouses.
As cargas de trabalho de data warehouse se beneficiam dos recursos avançados do mecanismo SQL em um formato de dados aberto, permitindo que os clientes se concentrem na análise e na geração de relatórios. Eles também se beneficiam do acesso a dados do OneLake, um serviço de virtualização de armazenamento de data lake.
Para saber mais, confira a documentação.
Regiões de investimento
Atualizações do Query Insights
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de lançamento: Disponibilidade geral
O Query Insights agora apresentará a quantidade de dados verificados durante a execução da consulta, espalhados por memória, disco e remoto.
Copilot para Data Warehouse: Bate-papo Sidecar
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
O Copilot for Data Warehouse é o melhor programador emparelhado e impulsionador de produtividade para qualquer desenvolvedor de nível de habilidade – de profissionais de dados a analistas. Ele foi projetado para acelerar o desenvolvimento do armazém, aproveitando a IA generativa para simplificar e automatizar a criação, análise e gerenciamento do Data Warehouse.
Esse recurso apresenta o painel de bate-papo auxiliar do Copilot. Use o painel de bate-papo para fazer perguntas sobre seu warehouse ao Copilot por meio de linguagem natural. Os casos de uso incluem:
- Linguagem natural para SQL: faça uma pergunta ao Copilot sobre os dados do seu warehouse e receba uma consulta SQL gerada para o esquema do warehouse.
- Perguntas e respostas: faça uma pergunta ao Copilot sobre seu armazém e receba uma resposta baseada em documentos e indicações para a documentação oficial.
- Brainstorming: use o Copilot para ajudá-lo a debater tendências ou padrões relevantes para analisar em seus dados
BULK INSERT
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
A instrução BULK INSERT é usada para ingerir arquivos no Fabric DW (semelhante a COPY INTO). com a função BULK INERT, estamos habilitando a migração do SQL Server para o Fabric DW com alterações mínimas de código. Os clientes precisariam reescrever seu código e ferramentas externas que usam BULK INSERT para migrar para COPY INTO como um pré-requisito para migrar para o Fabric DW. Além disso, BULK INSERT suporta algumas opções tradicionais no local que não estão disponíveis em COPY INTO.
OPENROWSET
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O Fabric DW permite que os usuários usem a função OPENROWSET para ler dados dos arquivos no lake. Um exemplo simples da função OPENROWSET é:
SELECT *
FROM OPENROWSET ( BULK ‘<file path>’ )
WITH ( <column definition> )
A função OPENROWSET lerá o conteúdo do(s) arquivo(s) fornecido <file path> e retornará o conteúdo dos arquivos.
Esta função permite fácil navegação e visualização dos arquivos antes da ingestão.
Cache do conjunto de resultados
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O cache do conjunto de resultados salva os resultados das consultas aplicáveis e os retorna imediatamente nas execuções subsequentes, o que reduz drasticamente o tempo de execução ignorando a recompilação e a recomputação. O cache é gerenciado automaticamente e não requer intervenção manual.
Aprimoramentos automáticos de estatísticas
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Vários aprimoramentos estão planejados – menor tempo de execução de atualizações automáticas de estatísticas, suporte oportunista para tipos de coluna VARCHAR(MAX), armazenamento aprimorado de etapas intermediárias de estatísticas, manutenção automática de estatísticas fora da consulta do usuário.
SHOWPLAN_XML
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
SHOWPLAN_XML retorna informações detalhadas sobre como as instruções serão executadas na forma de um documento XML bem definido sem executar a instrução T-SQL.
Copilot para ponto de extremidade de análise do SQL
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O Copilot for Data Warehouse é o melhor programador emparelhado e impulsionador de produtividade para qualquer desenvolvedor de nível de habilidade – de profissionais de dados a analistas. Ele foi projetado para acelerar o desenvolvimento do armazém, aproveitando a IA generativa para simplificar e automatizar a criação, análise e gerenciamento do Data Warehouse. Esse recurso habilita o uso do Copilot no ponto de extremidade de análise do SQL.
Atualizar a API REST do Ponto de Extremidade da Análise de SQL
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Dispare programaticamente uma atualização do ponto de extremidade de análise do SQL para manter as tabelas sincronizadas com as alterações feitas no item pai.
Assistente de migração de código
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Projetado para acelerar a migração do SQL Server, pools de SQL dedicados do Synapse e outros warehouses para o Fabric Data Warehouse, os usuários poderão migrar o código e os dados do banco de dados de origem, convertendo automaticamente o esquema de origem e o código para o Fabric Data Warehouse, ajudando na migração de dados e fornecendo assistência baseada em IA.
Clustering de dados
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O Data Clustering permite um desempenho de leitura mais rápido, permitindo que os clientes especifiquem colunas para colocalizar dados na ingestão para permitir o salto de arquivo na leitura.
Alterar tabela - Coluna Soltar/Renomear
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Alterar tabela - Descartar/Renomear permitirá que os clientes alterem sua definição de tabela descartando e renomeando colunas. Isso é um acréscimo à funcionalidade Alter Table existente, que suporta a adição de novas colunas e está em produção hoje.
Tabelas temporárias (escopo da sessão)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
As tabelas temporárias com escopo de sessão e com suporte de parquet permitem que os clientes armazenem conjuntos de resultados intermediários para acesso repetido, mas não precisam persistir permanentemente. Eles funcionam como uma mesa permanente regular, mas desaparecem quando a conexão é fechada.
MESCLAR (T-SQL)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
O comando MERGE T-SQL para Fabric Data Warehouse traz o poder do DML baseado em seleção em uma única instrução, para todas as suas necessidades de lógica de transformação.
Logs de auditoria SQL
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Esse recurso rastreia eventos de banco de dados e os grava em um log de auditoria, permitindo que os clientes consultem o arquivo de auditoria usando sys.fn_get_audit_file_v2 para auditoria e conformidade.
EXECUTE AS
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
EXECUTE AS define o contexto de execução de uma sessão e, portanto, permite que o usuário se passe por outro usuário para validar as permissões necessárias que foram fornecidas.
BCP
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O Fabric DW oferece suporte ao utilitário bcp e à API de carregamento em massa TDS. A API Lod em massa permite que uma variedade de ferramentas de cliente, como bcp, SSIS, ADF, carreguem dados no Fabric DW. E um exemplo de comando bcp que está carregando um conteúdo de um arquivo na tabela DW é:
bcp gold.artists in "C:\temp\gold_artist.txt" -d TextDW -c -S "<server name>.msit-datawarehouse.fabric.microsoft.com" -G -U theusert@microsoft.com
Feição(ões) enviada(s)
Tipos VARCHAR(MAX)/VARBINARY(MAX)
Enviado (4º trimestre de 2024)
Tipo de Versão: Visualização Pública
Os usuários podem definir colunas com tipos VARCHAR(MAX)/VARBINARY(MAX) no Data warehouse para armazenar dados binários ou de cadeia de caracteres de até 1 MB. No ponto de extremidade SQL para o Lakehouse, os tipos de cadeia de caracteres nas tabelas Delta são representados como VARCHAR(MAX) sem truncamento para 8 KB. As diferenças de desempenho entre as consultas que estão trabalhando com os tipos VARCHAR(MAX) e VARCHAR(8000) são minimizadas, o que permite que os usuários usem tipos grandes sem penalidade significativa de desempenho.
Melhorias no ponto de extremidade da Análise de SQL
Enviado (4º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Esse recurso abrange atualizações feitas na experiência do ponto de extremidade de análise SQL, incluindo:
- Atualização automática disparada ao abrir o item ou conectar-se ao ponto de extremidade
- Interface do usuário aprimorada para atualizar o ponto de extremidade de análise do SQL diretamente na faixa de opções
- Nova propriedade para a última atualização bem-sucedida no OneLake por meio do submenu da caixa de diálogo de propriedades da tabela
- Mensagens de erro aprimoradas
Suporte a JSON
Enviado (4º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
O suporte JSON no Fabric Datawarehouse permite o processamento de dados textuais formatados como texto JSON. Os novos recursos JSON no Fabric DW são:
- FOR que formata os resultados da consulta como texto JSON. Esse foi um dos recursos solicitados no site do Microsoft Fabric Idea.
- Funções escalares JSON que também podem ser usadas no banco de dados SQL do Azure. Além das funções escalares JSON existentes (ISJSON, JSON_VALUE, JSON_QUERY e JSON_MODIFY), o Fabric DW dá suporte às funções JSON mais recentes existentes no Banco de Dados SQL do Azure – JSON_PATH_EXISTS, JSON_OBJECT e JSON_ARRAY.
Melhorias no desempenho da cadeia de caracteres
Enviado (4º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Operações em cadeias de caracteres (VARCHAR(N)) são comuns em consultas T-SQL. Melhorias de desempenho em funções de cadeia de caracteres e operadores que estão trabalhando com cadeias de caracteres aumentam o desempenho das consultas que usam predicados LIKE, funções de cadeia de caracteres e operadores de comparação em predicados WHERE e operadores como GROUP BY, ORDER BY, JOIN que estão trabalhando com tipos de cadeia de caracteres.
Suporte a agrupamentos que não diferenciam maiúsculas de minúsculas (somente depósito)
Enviado (4º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
O uso das APIs REST públicas para criar um Data Warehouse inclui uma nova opção para definir a ordenação padrão. Isso pode ser usado para definir um novo padrão de agrupamento que não diferencia maiúsculas de minúsculas. Os dois agrupamentos com suporte são Latin1_General_100_CI_AS_KS_WS_SC_UTF8 (que não diferencia maiúsculas de minúsculas) e Latin1_General_100_BIN2_UTF8 (que diferencia maiúsculas de minúsculas) e continuam sendo nosso padrão.
O suporte à cláusula COLLATE T-SQL estará disponível em breve. Isso permitirá que você utilize o comando COLLATE com CREATE ou ALTER TABLE para especificar diretamente o agrupamento para seus campos VARCHAR.
CTE aninhado
Enviado (4º trimestre de 2024)
As expressões de tabela comuns (CTE) aumentam a legibilidade e a simplificação de consultas complexas, desconstruindo consultas normalmente complexas em blocos simples a serem usados e reutilizados, se necessário, em vez de reescrever a consulta. Uma CTE aninhada é definida com a definição de outra CTE.
Integração do T-SQL Notebook
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Você pode começar a usar o suporte à linguagem T-SQL em Notebooks, que combina o poder de Notebooks e SQL na mesma experiência, permitindo intellisense, preenchimento automático, consultas entre bancos de dados, visualizações mais avançadas e a capacidade de colaborar e compartilhar facilmente usando Notebooks.
TRUNCATE
Enviado (3º trimestre de 2024)
O comando TRUNCATE remove rapidamente todas as linhas de dados de uma tabela.
ALTER TABLE - Adicionar coluna anulável
Enviado (3º trimestre de 2024)
Suporte para ALTER TABLE ADD COLUMN para poder estender tabelas já existentes com novas colunas que permitem valores NULL.
Atualizações de insights de consulta
Enviado (3º trimestre de 2024)
Uma exibição histórica de suas sessões fechadas será disponibilizada por meio do Query Insights. Essa adição ajuda a analisar o tráfego, a carga e o uso do seu DW.
Restauração in-loco no editor de depósito
Enviado (2º trimestre de 2024)
Agora você pode criar facilmente pontos de restauração e restaurar o depósito para um bom estado conhecido em caso de corrupção acidental, usando a experiência do editor de depósito.
Suporte COPY INTO para armazenamento seguro
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
Agora você pode ingerir dados em seu Warehouse usando COPY INTO de uma conta de armazenamento externa do Azure protegida por um Firewall.
Copilot
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
O Copilot permite que desenvolvedores de qualquer nível de habilidade criem e consultem rapidamente um warehouse no Fabric. O Copilot oferece conselhos e práticas recomendadas, código de preenchimento automático, ajuda a corrigir e documentar o código e oferece assistência na preparação, modelagem e análise de dados.
Viagem no tempo
Enviado (2º trimestre de 2024)
A capacidade de viajar no tempo no nível da instrução T-SQL permite que os usuários consultem dados históricos de vários períodos anteriores, especificando o carimbo de data/hora apenas uma vez para toda a consulta. A viagem no tempo ajuda a economizar significativamente nos custos de armazenamento usando uma única cópia dos dados presentes no One Lake para realizar análises de tendências históricas, solução de problemas e reconciliação de dados. Além disso, também facilita a obtenção de relatórios estáveis, mantendo a integridade dos dados em várias tabelas dentro do data warehouse.
Experiência de monitoramento de armazém
Enviado (2º trimestre de 2024)
Usando a experiência interna de monitoramento de depósito, você pode exibir consultas dinâmicas e consultas históricas, monitorar e solucionar problemas de desempenho de sua solução de ponta a ponta.