O que é o espelhamento no Fabric?
O espelhamento no Fabric oferece uma solução de baixo custo e baixa latência para integrar dados de vários sistemas em uma plataforma única de análise. Você pode replicar continuamente o seu patrimônio de dados existente diretamente no OneLake do Fabric a partir de uma variedade de bancos de dados do Azure e fontes de dados externas.
Com os dados mais atualizados em formato consultável no OneLake, agora você pode usar todos os diferentes serviços do Fabric, como execução de análises com Spark, execução de notebooks, engenharia de dados, visualização por meio de relatórios do Power BI e muito mais.
O espelhamento no Fabric permite aos usuários usar um produto altamente integrado de ponta a ponta e fácil de usar, projetado para simplificar suas necessidades de análise. Criado para abrir e colaborar entre a Microsoft e soluções tecnológicas capazes de ler o formato de tabela Delta Lake de código aberto, o Espelhamento é uma solução de baixo custo e baixa latência, pronta para uso, que permite criar uma réplica de seus dados no OneLake, a qual pode ser utilizada para todas as suas necessidades analíticas.
As tabelas Delta podem ser usadas em qualquer lugar no Fabric, permitindo que os usuários acelerem a jornada para o Fabric.
Por que usar o espelhamento no Fabric?
Hoje, muitas organizações têm dados operacionais ou analíticos de missão crítica em silos.
Acessar e trabalhar com esses dados hoje exige pipelines complexos de ETL (extração, transformação e carregamento), processos de negócios e silos de decisão, criando:
- Acesso restrito e limitado a dados importantes e em constante mudança
- Atrito entre pessoas, processos e tecnologia
- Tempos de espera longos para criar pipelines de dados e processos para dados criticamente importantes
- Sem liberdade para usar as ferramentas necessárias para analisar e compartilhar insights confortavelmente
- Falta de uma base adequada para as pessoas compartilharem e colaborarem em dados
- Não há formatos de dados abertos comuns para todos os cenários analíticos - BI, IA, Integração, Engenharia e até mesmo Aplicativos
O espelhamento no Fabric oferece uma experiência fácil para acelerar o tempo de obtenção de valor para insights e decisões e para eliminar silos de dados entre soluções de tecnologia:
- Replicação quase em tempo real de dados e metadados em um data lake de SaaS, com análise interna para BI e IA
A plataforma do Microsoft Fabric foi criada com base no SaaS (Software como serviço), que leva a simplicidade e a integração a um nível totalmente novo. Para saber mais sobre o Microsoft Fabric, consulte O que é o Microsoft Fabric?
O espelhamento cria três itens no espaço de trabalho do Fabric:
- O espelhamento gerencia a replicação de dados e metadados no OneLake e a conversão em Parquet, em um formato pronto para análise. Isso permite cenários downstream, como engenharia de dados, ciência de dados e muito mais.
- Um ponto de extremidade de análise do SQL
- Um modelo semântico padrão
Além do Editor de Consultas SQL, há um amplo ecossistema de ferramentas, incluindo o SQL Server Management Studio (SSMS), a extensão mssql com Visual Studio Code e até mesmo o GitHubCopilot.
O compartilhamento permite a facilidade de controle e gerenciamento de acesso, para garantir que você possa controlar o acesso a informações confidenciais. O compartilhamento também permite a tomada de decisões seguras e democratizadas em toda a organização.
Tipos de espelhamento
O Fabric oferece três abordagens diferentes para trazer dados para o OneLake por meio do espelhamento.
- Espelhamento de banco de dados – o espelhamento de banco de dados no Microsoft Fabric permite a replicação de bancos de dados e tabelas inteiros, permitindo que você reúna dados de vários sistemas em uma única plataforma de análise.
- Espelhamento de metadados – o espelhamento de metadados no Fabric sincroniza metadados (como nomes de catálogo, esquemas e tabelas) em vez de mover fisicamente os dados. Esta abordagem aproveita os atalhos, garantindo que os dados permaneçam em sua fonte e sejam facilmente acessíveis no Fabric.
- Espelhamento aberto – O espelhamento aberto no Fabric foi criado para estender o espelhamento com base no formato de tabela do Delta Lake aberto. Essa funcionalidade permite que qualquer desenvolvedor escreva os dados de alteração do aplicativo diretamente em um item de banco de dados espelhado no Microsoft Fabric, com base na abordagem de espelhamento aberto e nas APIs públicas.
Atualmente, os seguintes bancos de dados externos estão disponíveis:
Como a replicação quase em tempo real do espelhamento de banco de dados funciona?
O espelhamento é habilitado criando uma conexão segura com sua fonte de dados operacionais. Você escolhe se deseja duplicar um banco de dados inteiro ou tabelas individuais e o espelhamento manterá automaticamente seus dados sincronizados. Uma vez configurados, os dados serão duplicados continuamente no OneLake para consumo analítico.
Estes são os princípios básicos do espelhamento:
Habilitar o espelhamento no Fabric é simples e intuitivo, sem a necessidade de criar pipelines de ETL complexos, alocar outros recursos de computação e gerenciar a movimentação de dados.
O espelhamento no Fabric é um serviço totalmente gerenciado, portanto, você não precisa se preocupar com hospedagem, manutenção ou gerenciamento da duplicação da conexão espelhada.
Como funciona o espelhamento de metadados?
O espelhamento não só habilita a replicação de dados, mas também pode ser obtido por meio de atalhos ou espelhamento de metadados em vez de replicação completa de dados, permitindo que os dados fiquem disponíveis sem movê-los fisicamente ou duplicá-los. O espelhamento nesse contexto refere-se à replicação de apenas metadados, como nomes de catálogo, esquemas e tabelas, em vez dos próprios dados reais. Essa abordagem permite que o Fabric torne os dados de diferentes fontes acessíveis sem duplicá-los, simplificando o gerenciamento de dados e minimizando as necessidades de armazenamento.
Por exemplo, ao acessar dados registrados no Catálogo do Unity, o Fabric espelha apenas a estrutura de catálogo do Azure Databricks, permitindo que os dados subjacentes sejam acessados por meio de atalhos. Esse método garante que todas as alterações nos dados de origem sejam refletidas instantaneamente no Fabric sem a necessidade de movimentação de dados, mantendo a sincronização em tempo real e aumentando a eficiência no acesso a informações atualizadas.
Como funciona o espelhamento aberto?
Além do espelhamento que facilita a replicação de dados ao criar uma conexão segura com a sua fonte de dados, você também pode selecionar um provedor de dados existente ou escrever seu próprio aplicativo para armazenar dados no banco de dados espelhado. Depois de criar um banco de dados espelhado aberto por meio da API pública ou do portal do Fabric, você poderá obter uma URL de zona de destino no OneLake, em que poderá colocar dados de alteração por especificação do espelhamento aberto.
Depois que os dados estiverem na zona de destino com o formato adequado, a replicação começará a ser executada e gerenciará a complexidade de mesclar as alterações com atualizações, inserções e exclusões a serem refletidas em tabelas Delta. Este método garante que todos os dados sejam gravados na zona de destino imediatamente e que os dados no Fabric permaneçam atualizados.
Compartilhamento
O compartilhamento permite a facilidade de controle e gerenciamento de acesso, enquanto controles de segurança como RLS (Segurança em nível de linha) e OLS (Segurança em nível de objeto) e muito mais garantem que você possa controlar o acesso a informações confidenciais. O compartilhamento também permite a tomada de decisões seguras e democratizadas em toda a organização.
Ao compartilhar, os usuários concedem a outros usuários ou a um grupo de usuários acesso a um banco de dados espelhado sem dar acesso ao espaço de trabalho e ao restante de seus itens. Quando alguém compartilha um banco de dados espelho, também concede acesso ao endpoint de análise SQL e ao modelo semântico padrão associado.
Para obter mais informações, consulte Compartilhar seu banco de dados espelhado e gerenciar permissões.
Consultas entre bancos de dados
Com os dados do banco de dados espelhado armazenados no OneLake, é possível escrever consultas entre bancos de dados, unindo dados de bancos de dados espelhados, armazéns de dados e terminais de análise SQL de Lakehouses em uma única consulta T-SQL. Para obter mais informações, consulte Gravar uma consulta entre bancos de dados.
Por exemplo, é possível referenciar a tabela em bancos de dados espelhados e warehouses usando a nomeação de três partes. No exemplo a seguir, use o nome de três partes para se referir a ContosoSalesTable no warehouse ContosoWarehouse. Em outros bancos de dados ou armazéns, a primeira parte da convenção de nomenclatura padrão de três partes do SQL é o nome do banco de dados espelhado.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Custo do espelhamento
No caso do espelhamento de banco de dados e do espelhamento aberto, a computação do Fabric e o armazenamento OneLake até um limite baseado em capacidade são gratuitos.
- O armazenamento para réplicas é gratuito até um limite com base no tamanho da capacidade. O espelhamento oferece um terabyte gratuito de armazenamento de espelhamento para cada CU (unidade de capacidade) que você comprou. Por exemplo, se você adquirir uma capacidade F64, terá acesso a 64 terabytes de armazenamento dedicados gratuitamente, usados exclusivamente para espelhamento. O armazenamento do OneLake é cobrado se o limite de armazenamento do espelhamento gratuito é excedido ou quando a capacidade é colocada em pausa. Para obter mais informações, veja Preços do Microsoft Fabric.
- A computação de malha usada para replicar seus dados no Fabric OneLake é gratuita e não consome capacidade. As solicitações ao OneLake, como parte do processo de espelhamento, consomem capacidade conforme o consumo normal de computação do OneLake. A computação para consultar dados usando SQL, Power BI ou Spark é cobrada a taxas regulares.
Engenharia de Dados com seus dados de banco de dados espelhados
O Microsoft Fabric fornece vários recursos de engenharia de dados para garantir que seus dados sejam facilmente acessíveis, bem organizados e tenham alta qualidade. Na Engenharia de Dados do Fabric, é possível:
- Criar e gerenciar seus dados como o Spark usando um lakehouse
- Projetar pipelines para copiar dados para o lakehouse
- Usar definições de trabalho do Spark para enviar trabalhos de lote/streaming para o cluster do Spark
- Usar notebooks para gravar código para ingestão, preparação e transformação de dados
Ciência de Dados com seus dados de banco de dados espelhados
O Microsoft Fabric oferece Ciência de Dados do Fabric para capacitar os usuários a concluir fluxos de trabalho de ciência de dados de ponta a ponta para fins de enriquecimento de dados e insights de negócios. Você pode concluir uma ampla gama de atividades em todo o processo de ciência de dados, desde exploração, preparação e limpeza de dados até experimentação, modelagem, pontuação de modelo e fornecimento de insights preditivos para relatórios do BI.
Os usuários do Microsoft Fabric podem acessar as cargas de trabalho de Ciência de Dados. A partir daí, eles podem descobrir e acessar vários recursos relevantes. Por exemplo, eles podem criar experimentos, modelos e notebooks de aprendizado de máquina. Eles também podem importar blocos de anotações existentes na página inicial da Ciência de Dados.
Banco de dados SQL no Fabric
Você também pode criar e gerenciar diretamente um banco de dados SQL no Microsoft Fabric (versão prévia) dentro do portal do Fabric. Com base no Banco de Dados SQL do Azure, o banco de dados SQL no Fabric é espelhado automaticamente para fins de análise e permite que você crie facilmente seu banco de dados operacional no Fabric. O banco de dados SQL é o local no Fabric em que se encontram as cargas de trabalho OLTP e pode ser integrado à integração do controle do código-fonte do Fabric.