O que é espelhamento em tecido?
O espelhamento na malha é uma solução de baixo custo e baixa latência para reunir dados de vários sistemas em uma única plataforma de análise. Você pode replicar continuamente a sua infraestrutura de dados existente diretamente no OneLake do Fabric a partir de uma variedade de bancos de dados do Azure e fontes de dados externas.
Com os dados mais atualizados em um formato consultável no OneLake, agora você pode usar todos os diferentes serviços no Fabric, como executar análises com o Spark, executar blocos de anotações, engenharia de dados, visualizar por meio de Relatórios do Power BI e muito mais.
O espelhamento no Fabric permite que os usuários desfrutem de um produto altamente integrado, completo e fácil de usar, projetado para simplificar suas necessidades de análise. Criado para abertura e colaboração entre a Microsoft e soluções tecnológicas que podem ler o formato de tabela Delta Lake de código aberto, o Mirroring é uma solução turnkey de baixo custo e baixa latência que permite criar uma réplica de seus dados no OneLake que pode ser usada para todas as suas necessidades analíticas.
As tabelas Delta podem ser usadas em qualquer lugar do Fabric, permitindo que os usuários acelerem sua jornada no Fabric.
Por que usar o espelhamento em malha?
Hoje, muitas organizações têm dados operacionais ou analíticos de missão crítica em silos.
Acessar e trabalhar com esses dados hoje requer pipelines complexos de ETL (Extract Transform Load), processos de negócios e silos de decisão, criando:
- Acesso restrito e limitado a dados importantes e em constante mudança
- Atrito entre pessoas, processos e tecnologia
- Longos tempos de espera para criar pipelines de dados e processos para dados criticamente importantes
- Não há liberdade para usar as ferramentas que você precisa para analisar e compartilhar insights confortavelmente
- Falta de uma base adequada para as pessoas compartilharem e colaborarem em dados
- Não há formatos de dados abertos comuns para todos os cenários analíticos - BI, IA, integração, engenharia e até mesmo aplicativos
O espelhamento no Fabric oferece uma experiência fácil para otimizar os processos de obtenção de insights e decisões e para quebrar silos de dados entre soluções de tecnologia.
- Replicação quase em tempo real de dados e metadados em um data lake SaaS, com análise integrada para BI e IA
A plataforma Microsoft Fabric é construída sobre uma base de Software as a Service (SaaS), que leva a simplicidade e a integração a um nível totalmente novo. Para saber mais sobre o Microsoft Fabric, consulte O que é o Microsoft Fabric?
O espelhamento cria três itens no espaço de trabalho do Fabric:
- O Mirroring gerencia a replicação de dados e metadados no OneLake e a conversão para Parquet, em um formato pronto para análise. Isso permite cenários downstream, como engenharia de dados, ciência de dados e muito mais.
- Um endpoint SQL de análise
- Um modelo semântico padrão
Além do editor de consultas SQL, há um amplo ecossistema de ferramentas, incluindo o SQL Server Management Studio (SSMS), a extensão mssql com o Visual Studio Code e até mesmo o GitHubCopilot.
O compartilhamento permite facilitar o controle e o gerenciamento de acesso, para garantir que você possa controlar o acesso a informações confidenciais. O compartilhamento também permite a tomada de decisões seguras e democratizadas em toda a sua organização.
Tipos de espelhamento
O Fabric oferece três abordagens diferentes para trazer dados para o OneLake por meio do espelhamento.
- Espelhamento de banco de dados – O espelhamento de banco de dados no Microsoft Fabric permite a replicação de bancos de dados e tabelas inteiros, permitindo reunir dados de vários sistemas em uma única plataforma de análise.
- Espelhamento de metadados – O espelhamento de metadados na malha sincroniza metadados (como nomes de catálogo, esquemas e tabelas) em vez de mover fisicamente os dados. Essa abordagem aproveita os atalhos, garantindo que os dados permaneçam em sua origem enquanto ainda são facilmente acessíveis no Fabric.
- Espelhamento aberto – O espelhamento aberto no Fabric foi projetado para estender o espelhamento com base no formato de tabela Delta Lake aberto. Esse recurso permite que qualquer desenvolvedor escreva os dados de alteração de seu aplicativo diretamente em um item de banco de dados espelhado no Microsoft Fabric, com base na abordagem de espelhamento aberto e APIs públicas.
Atualmente, estão disponíveis as seguintes bases de dados externas:
Como funciona a replicação quase em tempo real do espelhamento de banco de dados?
O espelhamento é habilitado criando uma conexão segura com sua fonte de dados operacionais. Você escolhe se deseja replicar um banco de dados inteiro ou tabelas individuais e o espelhamento manterá automaticamente seus dados sincronizados. Uma vez configurados, os dados serão replicados continuamente no OneLake para consumo de análise.
A seguir estão os princípios fundamentais do espelhamento:
Habilitar o espelhamento na malha é simples e intuitivo, sem a necessidade de criar pipelines de ETL complexos, alocar outros recursos de computação e gerenciar a movimentação de dados.
O espelhamento no Fabric é um serviço totalmente gerenciado, portanto, você não precisa se preocupar com hospedagem, manutenção ou gerenciamento da replicação da conexão espelhada.
Como funciona o espelhamento de metadados?
O espelhamento não só permite a replicação de dados, mas também pode ser alcançado por meio de atalhos ou espelhamento de metadados em vez da replicação completa de dados, permitindo que os dados estejam disponíveis sem movê-los fisicamente ou duplicá-los. O espelhamento, nesse contexto, refere-se à replicação apenas de metadados, como nomes de catálogo, esquemas e tabelas, em vez dos dados reais em si. Essa abordagem permite que o Fabric torne os dados de diferentes fontes acessíveis sem duplicá-los, simplificando o gerenciamento de dados e minimizando as necessidades de armazenamento.
Por exemplo, ao acessar dados registrados no Unity Catalog, o Fabric espelha apenas a estrutura do catálogo do Azure Databricks, permitindo que os dados subjacentes sejam acessados por meio de atalhos. Esse método garante que quaisquer alterações nos dados de origem sejam refletidas instantaneamente no Fabric sem exigir a movimentação de dados, mantendo a sincronização em tempo real e aumentando a eficiência no acesso a informações atualizadas.
Como funciona o espelhamento aberto?
Além de permitir a replicação de dados através do espelhamento criando uma ligação segura com a sua fonte de dados, pode também selecionar um fornecedor de dados existente ou desenvolver a sua própria aplicação para colocar dados na base de dados espelhada. Depois de criar um banco de dados espelhado aberto via API pública ou por meio do portal Fabric, você poderá obter uma URL de zona de aterrissagem no OneLake, onde poderá obter dados de alteração por especificação de espelhamento aberto.
Quando os dados estiverem na zona de aterrissagem com o formato adequado, a replicação começará a ser executada e gerenciará a complexidade de mesclar as alterações com atualizações, inserir e excluir para serem refletidas em tabelas delta. Este método garante que todos os dados gravados na zona de pouso sejam imediatamente processados, mantendo os dados no Fabric sempre atualizados.
Partilhar
O compartilhamento facilita o controle e o gerenciamento de acesso, enquanto os controles de segurança, como RLS (segurança em nível de linha) e OLS (segurança em nível de objeto), entre outros, garantem que você possa controlar o acesso a informações confidenciais. O compartilhamento também permite a tomada de decisões seguras e democratizadas em toda a sua organização.
Ao compartilhar, os usuários concedem a outros usuários ou a um grupo de usuários acesso a um banco de dados espelhado sem dar acesso ao espaço de trabalho e ao restante de seus itens. Quando alguém partilha um banco de dados espelhado, também concede acesso ao ponto de acesso de análise SQL e ao modelo semântico padrão associado.
Para obter mais informações, consulte Compartilhar seu banco de dados espelhado e gerenciar permissões.
Consultas entre bases de dados
Com os dados do seu banco de dados espelhado armazenados no OneLake, pode-se escrever consultas cruzadas entre bancos de dados, unindo dados espelhados, armazéns e endpoints de análise SQL dos Lakehouses numa única consulta T-SQL. Para obter mais informações, consulte Escrever uma consulta entre bancos de dados.
Por exemplo, pode-se referenciar a tabela a partir de bases de dados espelhadas e data warehouses usando uma nomenclatura de três partes. No exemplo a seguir, use o nome de três partes para se referir a ContosoSalesTable no depósito ContosoWarehouse. Em outros bancos de dados ou armazéns, a primeira parte da convenção de nomenclatura padrão de três partes do SQL é o nome do banco de dados espelhado.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Custo do espelhamento
Para espelhamento de banco de dados e espelhamento aberto, a computação em estrutura e o armazenamento OneLake são gratuitos até um limite baseado em capacidade.
- O armazenamento para réplicas é gratuito até um limite, dependendo do tamanho da capacidade. O espelhamento oferece um terabyte gratuito de armazenamento de espelhamento para cada unidade de capacidade (UC) adquirida. Por exemplo, se você comprar uma capacidade F64, obterá 64 terabytes gratuitos de armazenamento, usados exclusivamente para espelhamento. O armazenamento do OneLake é cobrado se o limite de armazenamento de espelhamento gratuito for excedido ou quando a capacidade for pausada. Para obter mais informações, consulte Preços do Microsoft Fabric.
- A computação de malha usada para replicar seus dados no Fabric OneLake é gratuita e não consome capacidade. As solicitações feitas ao OneLake, como parte do processo de espelhamento, consomem a capacidade tal como ocorre no consumo normal de computação do OneLake. A computação para consultar dados usando SQL, Power BI ou Spark é cobrada a taxas regulares.
Engenharia de dados com seus dados de banco de dados espelhados
O Microsoft Fabric fornece vários recursos de engenharia de dados para garantir que seus dados sejam facilmente acessíveis, bem organizados e de alta qualidade. No Fabric Data Engineering, você pode:
- Crie e gere os seus dados como o Spark usando um lakehouse
- Projete pipelines para copiar dados para sua casa no lago
- Usar definições de tarefas Spark para submeter tarefas em lote/streaming para o cluster Spark.
- Usar blocos de anotações para escrever código para ingestão, preparação e transformação de dados
Ciência de dados com seus dados de banco de dados espelhados
O Microsoft Fabric oferece o Fabric Data Science para capacitar os usuários a concluir fluxos de trabalho completos de ciência de dados com a finalidade de enriquecimento de dados e insights de negócios. Você pode concluir uma ampla gama de atividades em todo o processo de ciência de dados, desde a exploração, preparação e limpeza de dados até a experimentação, modelagem, pontuação de modelos e fornecimento de insights preditivos para relatórios de BI.
Os usuários do Microsoft Fabric podem acessar cargas de trabalho de ciência de dados. A partir daí, eles podem descobrir e acessar vários recursos relevantes. Por exemplo, eles podem criar experimentos, modelos e notebooks de aprendizado de máquina. Eles também podem importar Blocos de Anotações existentes na página inicial de Ciência de Dados.
Banco de dados SQL no Fabric
Você também pode criar e gerenciar diretamente um banco de dados SQL no Microsoft Fabric (Visualização) dentro do portal do Fabric. Com base no Banco de Dados SQL do Azure, o banco de dados SQL no Fabric é espelhado automaticamente para fins de análise e permite que você crie facilmente seu banco de dados operacional no Fabric. O banco de dados SQL é o núcleo do Fabric para cargas de trabalho OLTP e pode integrar-se com a integração de controlo de origem do Fabric.