Novidades e planos para o Data Warehouse no Microsoft Fabric
Importante
Os planos de lançamento descrevem funcionalidades que podem ou não ter sido lançadas ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou podem não ser enviados. Consulte a política da Microsoft para obter mais informações.
O Data Warehouse no Microsoft Fabric é o primeiro armazém de dados que suporta transações de várias tabelas e adota nativamente um formato de dados aberto. O armazém foi criado com base no robusto otimizador de consultas do SQL Server e em um mecanismo de processamento de consultas distribuído de nível empresarial que elimina a necessidade de configuração e gerenciamento. O Data Warehouse no Microsoft Fabric integra-se perfeitamente com o Data Factory para ingestão de dados, o Power BI para análise e relatórios e o Synapse Spark para ciência de dados e aprendizado de máquina. Ele simplifica os investimentos em análise de uma organização convergindo data lakes e armazéns.
As cargas de trabalho de armazenamento de dados se beneficiam dos recursos avançados do mecanismo SQL em um formato de dados aberto, permitindo que os clientes se concentrem na análise e na geração de relatórios. Eles também se beneficiam do acesso a dados do OneLake, um serviço de virtualização de armazenamento de data lake.
Para saber mais, consulte a documentação.
Áreas de investimento
Atualizações do Query Insights
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de versão: Disponibilidade geral
O Query Insights agora apresentará a quantidade de dados digitalizados durante a execução da consulta, acumulados por memória, disco e controle remoto.
Copiloto para Data Warehouse: Sidecar Chat
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
O Copilot for Data Warehouse é o melhor programador emparelhado e impulsionador de produtividade para qualquer desenvolvedor de nível de habilidade – de profissionais de dados a analistas. Ele foi projetado para acelerar o desenvolvimento de armazéns, aproveitando a IA generativa para simplificar e automatizar a criação, análise e gerenciamento do Data Warehouse.
Este recurso apresenta o painel de bate-papo do sidecar Copilot. Use o painel de bate-papo para fazer perguntas sobre seu armazém para Copilot através de linguagem natural. Os casos de uso incluem:
- Linguagem Natural para SQL: Faça uma pergunta ao Copilot sobre os dados do seu armazém e receba uma consulta SQL gerada que atenda ao seu esquema de depósito.
- P&R: Faça uma pergunta ao Copilot sobre o seu armazém e receba uma resposta baseada em documentos e indicações para a documentação oficial.
- Brainstorm: Use o Copilot para ajudá-lo a debater tendências ou padrões relevantes para analisar dentro de seus dados
BULK INSERT
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
A instrução BULK INSERT é usada para ingerir arquivos no Fabric DW (semelhante a COPY INTO). com a função BULK INERT estamos habilitando a migração do SQL Server para o Fabric DW com alterações mínimas de código. Os clientes precisariam reescrever seu código e ferramentas externas que usam BULK INSERT para migrar para COPY INTO como pré-requisito para migrar para o Fabric DW. Além disso, BULK INSERT suporta algumas opções locais tradicionais que não estão disponíveis em COPY INTO.
OPENROWSET
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O Fabric DW permite que os usuários usem a função OPENROWSET para ler dados dos arquivos no lago. Um exemplo simples da função OPENROWSET é:
SELECT *
FROM OPENROWSET ( BULK ‘<file path>’ )
WITH ( <column definition> )
A função OPENROWSET irá ler o conteúdo do(s) arquivo(s) no dado <file path> e retornar o conteúdo dos arquivos.
Thi função permite fácil navegação e visualização dos arquivos antes da ingestão.
Colocação em cache dos resultados
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O cache do conjunto de resultados salva os resultados das consultas aplicáveis e os retorna imediatamente em execuções subsequentes, o que reduz drasticamente o tempo de execução ignorando a recompilação e a recomputação. O cache é gerenciado automaticamente e não requer intervenção manual.
Aprimoramentos automáticos de estatísticas
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Várias melhorias são planejadas - menor tempo de execução de atualizações estatísticas automáticas, suporte oportunista para tipos de coluna VARCHAR (MAX), armazenamento aprimorado de etapas estatísticas intermediárias, manutenção automática de estatísticas fora da consulta do usuário.
SHOWPLAN_XML
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
SHOWPLAN_XML retorna informações detalhadas sobre como as instruções serão executadas na forma de um documento XML bem definido sem executar a instrução T-SQL.
Copiloto para ponto de extremidade de análise SQL
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O Copilot for Data Warehouse é o melhor programador emparelhado e impulsionador de produtividade para qualquer desenvolvedor de nível de habilidade – de profissionais de dados a analistas. Ele foi projetado para acelerar o desenvolvimento de armazéns, aproveitando a IA generativa para simplificar e automatizar a criação, análise e gerenciamento do Data Warehouse. Esse recurso permite o uso do Copilot no ponto de extremidade de análise SQL.
Atualizar a API REST do ponto de extremidade do SQL Analytics
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Acione programaticamente uma atualização do seu ponto de extremidade de análise SQL para manter as tabelas sincronizadas com quaisquer alterações feitas no item pai.
Assistente de migração de código
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Projetado para acelerar a migração do SQL Server, pools SQL dedicados Synapse e outros armazéns para o Fabric Data Warehouse, os usuários poderão migrar o código e os dados do banco de dados de origem, convertendo automaticamente o esquema de origem e o código para o Fabric Data Warehouse, ajudando na migração de dados e fornecendo assistência baseada em IA.
Agrupamento de dados
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O Clustering de Dados permite um desempenho de leitura mais rápido, permitindo que os clientes especifiquem colunas para colocalizar dados na ingestão para permitir que o arquivo pule na leitura.
Alterar Tabela - Coluna Soltar/Renomear
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Alterar tabela - Soltar/Renomear permitirá que os clientes alterem sua definição de tabela soltando e renomeando colunas. Isso se soma à funcionalidade existente do Alter Table, que suporta a adição de novas colunas e está em produção atualmente.
Tabelas temporárias (escopo da sessão)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
As tabelas temporárias com escopo de sessão e com parquet permitem que os clientes armazenem conjuntos de resultados intermediários para acesso repetido, mas não precisam persistir permanentemente. Eles funcionam como uma mesa de permament regular, mas desaparecem quando a conexão é fechada.
MESCLAR (T-SQL)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
O comando MERGE T-SQL para Fabric Data Warehouse traz o poder do DML baseado em seleção em uma única instrução, para todas as suas necessidades de lógica de transformação.
Logs de auditoria SQL
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Esse recurso rastreia eventos do banco de dados e os grava em um log de auditoria, permitindo que os clientes consultem o arquivo de auditoria usando sys.fn_get_audit_file_v2 para auditoria e conformidade.
EXECUTAR COMO
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
EXECUTE AS define o contexto de execução de uma sessão e, assim, permite que o usuário se faça passar por outro usuário para validar as permissões necessárias que foram fornecidas.
BCP
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O Fabric DW está suportando o utilitário bcp e a API TDS Bulk Load. A API Bulk Lod permite que uma variedade de ferramentas de cliente, como bcp, SSIS, ADF, carreguem dados no Fabric DW. E exemplo de comando bcp que está carregando um conteúdo de um arquivo na tabela DW é:
bcp gold.artists in "C:\temp\gold_artist.txt" -d TextDW -c -S "<server name>.msit-datawarehouse.fabric.microsoft.com" -G -U theusert@microsoft.com
Recurso(s) enviado(s)
Tipos VARCHAR(MAX)/VARBINARY(MAX)
Enviado (Q4 2024)
Tipo de Lançamento: Pré-visualização pública
Os usuários podem definir colunas com os tipos VARCHAR(MAX)/VARBINARY(MAX) no Data warehouse para armazenar string ou dados binários de até 1 MB. No ponto de extremidade SQL para o Lakehouse, os tipos de cadeia de caracteres em tabelas Delta são representados como VARCHAR(MAX) sem truncamento para 8 KB. As diferenças de desempenho entre as consultas que estão trabalhando com os tipos VARCHAR(MAX) e VARCHAR(8000) são minimizadas, o que permite que os usuários usem tipos grandes sem penalidade significativa de desempenho.
Melhorias no ponto de extremidade do SQL Analytics
Enviado (Q4 2024)
Tipo de versão: Disponibilidade geral
Esse recurso engloba as atualizações feitas na experiência do ponto de extremidade da análise SQL, incluindo:
- Atualização automática acionada ao abrir o item ou conectar-se ao ponto de extremidade
- Interface do usuário aprimorada para atualizar o ponto de extremidade de análise SQL diretamente na faixa de opções
- Nova propriedade para Última atualização bem-sucedida no OneLake por meio do submenu da caixa de diálogo de propriedades da tabela
- Mensagens de erro melhoradas
Suporte de JSON
Enviado (Q4 2024)
Tipo de versão: Disponibilidade geral
O suporte a JSON no Fabric Datawarehouse permite o processamento de dados textuais formatados como texto JSON. Os novos recursos JSON no Fabric DW são:
- Opção de consulta FOR JSON que formata os resultados da consulta como texto JSON. Esse foi um dos recursos solicitados no site Microsoft Fabric Idea.
- Funções escalares JSON que também podem ser usadas no banco de dados SQL do Azure. Além das funções escalares JSON existentes (ISJSON, JSON_VALUE, JSON_QUERY e JSON_MODIFY), o Fabric DW está suportando as funções JSON mais recentes que existem no Banco de Dados SQL do Azure – JSON_PATH_EXISTS, JSON_OBJECT e JSON_ARRAY.
Melhorias no desempenho da cadeia de caracteres
Enviado (Q4 2024)
Tipo de versão: Disponibilidade geral
Operações em cadeias de caracteres (VARCHAR(N)) são comuns em consultas T-SQL. As melhorias de desempenho em funções e operadores de cadeia de caracteres que estão trabalhando com cadeias de caracteres aumentam o desempenho das consultas que usam predicados LIKE, funções de cadeia de caracteres e operadores de comparação em predicados WHERE e operadores como GROUP BY, ORDER BY, JOIN que estão trabalhando com tipos de cadeia de caracteres.
Suporte a agrupamento sem diferenciação de maiúsculas e minúsculas (somente Armazém)
Enviado (Q4 2024)
Tipo de versão: Disponibilidade geral
Usar as APIs REST públicas para criar um Data Warehouse inclui uma nova opção para definir o agrupamento padrão. Isso pode ser usado para definir um novo padrão de agrupamento sem diferenciação de maiúsculas e minúsculas. Os dois agrupamentos suportados são Latin1_General_100_CI_AS_KS_WS_SC_UTF8 (que diferencia maiúsculas de minúsculas) e Latin1_General_100_BIN2_UTF8 (que diferencia maiúsculas de minúsculas) e continua a ser nosso padrão.
O suporte à cláusula COLLATE T-SQL estará disponível em breve. Isso permitirá que você utilize o comando COLLATE com CREATE ou ALTER TABLE para especificar diretamente o agrupamento para seus campos VARCHAR.
CTE aninhado
Enviado (Q4 2024)
Common Table Expressions (CTE) aumenta a legibilidade e simplificação para consultas complexas, desconstruindo consultas normalmente complexas em blocos simples para serem usados e reutilizados se necessário, em vez de reescrever a consulta. Uma CTE aninhada é definida com a definição de outra CTE.
Integração com T-SQL Notebook
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Você pode começar a usar o suporte à linguagem T-SQL em Notebooks, que combina o poder de Notebooks e SQL dentro da mesma experiência - permitindo intellisense, preenchimento automático, consultas entre bancos de dados, visualizações mais ricas e a capacidade de colaborar e compartilhar facilmente usando Notebooks.
TRUNCATE
Enviado (3º trimestre de 2024)
O comando TRUNCATE remove rapidamente todas as linhas de dados de uma tabela.
ALTER TABLE - Adicionar coluna anulável
Enviado (3º trimestre de 2024)
Suporte para ALTER TABLE ADD COLUMN para poder estender tabelas já existentes com novas colunas que permitem valores NULL.
Atualizações de insights de consulta
Enviado (3º trimestre de 2024)
Uma visão histórica de suas sessões fechadas será disponibilizada por meio do Query Insights. Esta adição ajuda-o a analisar o tráfego, a carga e a utilização do seu DW.
Restauração in-loco no editor de depósito
Enviado (Q2 2024)
Agora você pode facilmente criar pontos de restauração e restaurar o depósito para um bom estado conhecido no caso de corrupção acidental, usando a experiência do editor de depósito.
Suporte COPY INTO para armazenamento seguro
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
Agora você pode ingerir dados em seu Armazém usando COPY INTO de uma conta de armazenamento externa do Azure protegida por um Firewall.
Copilot
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
O Copilot permite que desenvolvedores de qualquer nível de habilidade criem e consultem rapidamente um armazém no Fabric. O Copilot oferece conselhos e práticas recomendadas, preenchimento automático de códigos, ajuda a corrigir e documentar códigos e oferece assistência com preparação, modelagem e análise de dados.
Viagem no tempo
Enviado (Q2 2024)
A capacidade de viajar no tempo no nível de instrução T-SQL permite que os usuários consultem dados históricos de vários períodos passados, especificando o carimbo de data/hora apenas uma vez para toda a consulta. A viagem no tempo ajuda a economizar significativamente nos custos de armazenamento usando uma única cópia dos dados presentes no One Lake para realizar análise de tendências históricas, solução de problemas e reconciliação de dados. Além disso, também facilita a obtenção de relatórios estáveis, mantendo a integridade dos dados em várias tabelas dentro do data warehouse.
Experiência de monitorização de armazéns
Enviado (Q2 2024)
Usando a experiência integrada de monitoramento de depósito, você pode visualizar consultas em tempo real e consultas históricas, monitorar e solucionar problemas de desempenho de sua solução completa.