Novidades e planos para o OneLake no Microsoft Fabric
Importante
Os planos de lançamento descrevem funcionalidades que podem ou não ter sido lançadas ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou podem não ser enviados. Consulte a política da Microsoft para obter mais informações.
O OneLake é um data lake único, unificado e lógico para toda a sua organização. Como o OneDrive, o OneLake vem automaticamente com todos os locatários do Microsoft Fabric e foi projetado para ser o único local para todos os seus dados de análise.
Todos os dados no OneLake funcionam com governança pronta para uso, como linhagem de dados, proteção de dados, certificação, integração de catálogo, etc. e, em última análise, estão sob o controle de um administrador de locatário. Dentro de um locatário, os espaços de trabalho permitem que diferentes partes da organização trabalhem de forma independente enquanto ainda contribuem para o mesmo data lake.
OneLake está aberto em todos os níveis. O OneLake suporta as mesmas APIs e SDKs do ADLS Gen2 para ser compatível com os aplicativos ADLS Gen2 existentes e pode suportar qualquer tipo de arquivo, estruturado ou não estruturado.
O OneLake tem como objetivo oferecer o maior valor possível a partir de uma única cópia de dados. Com os atalhos do OneLake, você pode unificar seus dados entre domínios, nuvens e contas criando uma referência aos dados armazenados em outros locais de arquivos, como outros locais do OneLake ou ADLS ou S3, sem movimentação ou duplicação de dados. Você também pode usar os mesmos dados em vários mecanismos analíticos porque os mecanismos de malha armazenam todos os dados tabulares nos formatos de parquet aberto. Não há mais necessidade de copiar dados apenas para usá-los com outro mecanismo.
Para saber mais, consulte a documentação.
Áreas de investimento
| Caraterística | Cronograma de lançamento estimado |
|---|---|
| Atalhos de tabela OneLake para dados do Iceberg | 4º trimestre de 2024 |
| Modelo de segurança OneLake | 1º trimestre de 2025 |
| Disponibilidade geral das funções de acesso a dados do OneLake | 1º trimestre de 2025 |
| Suporte de cache para gateway de dados local em atalhos do Onelake | 1º trimestre de 2025 |
| Suporte CI/CD para atalhos Onelake | 1º trimestre de 2025 |
| Gestão fácil de atalhos órfãos do Onelake | 1º trimestre de 2025 |
| Criptografia OneLake com chaves gerenciadas pelo cliente | 2º trimestre de 2025 |
| Catálogo Fabric OneLake | Enviado (Q4 2024) |
| Suporte do Databricks Unity Catalog para OneLake | Enviado (3º trimestre de 2024) |
| Atalhos do OneLake para dados locais | Enviado (Q2 2024) |
| Atalhos do armazenamento em nuvem do Google | Enviado (1º trimestre de 2024) |
| API de atalhos | Enviado (1º trimestre de 2024) |
| Cache inteligente para atalhos do Amazon S3 | Enviado (Q4 2023) |
Atalhos de tabela OneLake para dados do Iceberg
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
Com o Microsoft OneLake, você poderá criar atalhos de tabela para dados do Iceberg em outros locais, e esses dados aparecerão automaticamente com o formato Delta Lake.
O OneLake produz automaticamente metadados virtualizados do Delta Lake e os disponibiliza através do atalho do OneLake. Isso significa que você pode usar seus dados do Iceberg com todas as cargas de trabalho do Fabric que funcionam com dados formatados do Delta Lake.
Modelo de segurança OneLake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Gerenciar a segurança de dados em vários mecanismos analíticos e cópias de dados é um desafio. O OneLake e o Fabric simplificam isso permitindo o uso de uma única cópia de dados em vários mecanismos analíticos sem qualquer movimento ou duplicação de dados. Levando o conceito de "uma cópia" mais longe, o OneLake também está aprimorando a segurança com um modelo mais refinado, permitindo o acesso a tabelas e pastas, além da segurança em nível de linha e coluna. Essas definições de segurança convivem com os dados e percorrem atalhos para onde quer que os dados sejam usados. A segurança definida no OneLake é aplicada de forma consistente em vários mecanismos analíticos de malha.
Disponibilidade geral das funções de acesso a dados do OneLake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
As funções de acesso a dados do OneLake se baseiam nos recursos existentes do modelo de segurança do OneLake para aumentar a granularidade na qual a segurança pode ser aplicada em um item de dados de malha. Esse recurso adiciona um modelo RBAC (controle de acesso baseado em função) hereditário que simplifica o gerenciamento de usuários e permissões para dados no OneLake. Você pode definir funções de segurança que concedem acesso de leitura a pastas específicas no OneLake e atribuí-las a usuários ou grupos. As permissões de acesso determinam quais pastas os usuários veem ao acessar a visualização de lago dos dados, seja por meio da UX lakehouse, notebooks ou APIs OneLake.
Suporte de cache para gateway de dados local em atalhos do Onelake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
O cache de atalho pode ser usado para reduzir os custos de saída associados ao acesso a dados entre nuvens. À medida que os arquivos são lidos através de um atalho externo, os arquivos são armazenados em um cache para o espaço de trabalho Malha. As solicitações de leitura subsequentes são atendidas a partir do cache em vez do provedor de armazenamento remoto. Com a introdução do suporte de cache para o gateway de dados local, você pode aproveitar esses recursos enquanto se conecta a dados locais ou dados atrás de um firewall.
Suporte CI/CD para atalhos Onelake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
As ferramentas de gerenciamento do ciclo de vida do Microsoft Fabric fornecem um sistema padronizado para comunicação e colaboração entre todos os membros da equipe de desenvolvimento ao longo da vida útil do produto. Com a introdução do suporte a CI/CD para atalhos Onelake, você pode gerenciar facilmente sua implantação,ent de atalhos Onelake em todos os ambientes.
Gestão fácil de atalhos órfãos do Onelake
Cronograma estimado de lançamento: 1º trimestre de 2025
Quando as pessoas mudam de equipa, saem da organização ou perdem determinado acesso, os seus atalhos Onelkae podem tornar-se inutilizáveis. Com os novos recursos de gerenciamento desses atalhos órfãos, você pode restaurar facilmente seus atalhos sem impacto nos negócios.
Criptografia OneLake com chaves gerenciadas pelo cliente
Cronograma estimado de lançamento: 2º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Como parte de nosso roteiro estratégico para melhorar a segurança e a conformidade de dados, estamos planejando introduzir suporte para chaves gerenciadas pelo cliente (CMK) no OneLake. Isso proporcionará às organizações um maior controle sobre suas chaves de criptografia de dados. Com a CMK, os utilizadores poderão gerir as suas próprias chaves de encriptação, garantindo que os seus dados estão protegidos de acordo com as suas políticas de segurança específicas e requisitos regulamentares. Se a chave do cliente for revogada, a Microsoft perderá o acesso aos dados do cliente no OneLake.
Recurso(s) enviado(s)
Catálogo Fabric OneLake
Enviado (Q4 2024)
Tipo de versão: Disponibilidade geral
O catálogo OneLake é uma solução completa para explorar, gerenciar e administrar todo o seu patrimônio de dados Fabric. O catálogo OneLake é uma evolução da experiência do hub de dados OneLake com aprimoramentos que ajudarão todos os usuários do Fabric a descobrir e gerenciar dados confiáveis, além de fornecer governança para proprietários de dados com informações valiosas, ações recomendadas e ferramentas. O catálogo OneLake vem com duas guias: Explorar e Governar. Na guia Explorar, os usuários podem explorar e gerenciar todos os itens de malha aos quais têm acesso em um local central com filtros para domínios, tipo de item, proprietário, endosso, tags e muito mais. Os usuários podem clicar duas vezes em um item de malha para executar ações ou explorar descrição, linhagem de dados, permissões e atividade. E na guia Governar, os proprietários de dados podem ver uma visão geral de seus dados com informações sobre endossos, rotulagem de dados, tipo de dados e muito mais, e obter ações recomendadas para aprimorar seus dados para melhor qualidade e conformidade. A guia Explorar agora está disponível para o público em geral e a guia Governar estará disponível em breve na visualização.
Suporte do Databricks Unity Catalog para OneLake
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Integração do catálogo do Azure Databricks Unity com o Microsoft Fabric
Você poderá acessar as tabelas do Azure Databricks Unity Catalog diretamente no Microsoft Fabric, tornando ainda mais fácil unificar o Azure Databricks com o Microsoft Fabric. No portal do Fabric, você pode criar e configurar um novo item do Azure Databricks Unity Catalog no Fabric com apenas alguns cliques. Você pode adicionar um catálogo completo, um esquema ou até mesmo tabelas individuais para vincular e o gerenciamento desse item do Azure Databricks no OneLake — um atalho conectado ao Catálogo Unity — é automaticamente atendido para você. Esses dados agem como qualquer outro dado no OneLake — você pode escrever consultas SQL ou usá-los com quaisquer outras cargas de trabalho no Fabric, incluindo o Power BI por meio do modo Direct Lake. Quando os dados são modificados ou as tabelas são adicionadas, removidas ou renomeadas no Azure Databricks, os dados no Fabric permanecerão sempre sincronizados. Essa nova integração simplifica a unificação dos dados do Azure Databricks no Fabric e o uso perfeito em todas as cargas de trabalho do Fabric.
Atalhos do OneLake para dados locais
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
Os atalhos do Microsoft OneLake estão se expandindo para incluir fontes de dados locais e restritas à rede. Com esse recurso, você pode unificar seus dados locais e na nuvem no OneLake.
Durante a criação de atalhos para AWS S3, Google Cloud Storage ou buckets compatíveis com o S3, você poderá, opcionalmente, selecionar um gateway de dados local (OPDG) para estabelecer conectividade.
Atalhos do armazenamento em nuvem do Google
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
O OneLake expandirá o suporte de atalhos para o Google Cloud Storage, permitindo a virtualização de dados sem movê-los ou duplicá-los. Isso permite a integração de dados do Google Cloud Storage com serviços da Microsoft como ADLS gen2, OneLake, Dataverse e Amazon S3. Os dados aparecerão e funcionarão como se estivessem no OneLake e oferecem um data lake simples que pode abranger nuvens.
API de atalhos
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Uma API REST pública para automatizar a criação e o gerenciamento de cenários de atalho.
Cache inteligente para atalhos do Amazon S3
Enviado (Q4 2023)
Tipo de Lançamento: Pré-visualização pública
O cache inteligente para atalhos do Amazon S3 reduz os custos de saída e melhora o desempenho, aproximando os dados do mecanismo de computação. O cache inteligente enviará dados do S3 uma vez, armazenando-os em cache localmente no OneLake por um determinado período. Desta forma, elimina a necessidade de recuperação repetida de dados do S3. Os dados armazenados em cache podem ser reutilizados em vários usuários, mecanismos analíticos e cenários que otimizam o valor de uma única saída.