Vad är spegling i Infrastrukturresurser?
Spegling i Infrastruktur är en lösning med låg kostnad och låg svarstid för att samla data från olika system till en enda analysplattform. Du kan kontinuerligt replikera din befintliga dataegendom direkt till Fabrics OneLake från en mängd olika Azure-databaser och externa datakällor.
Med de mest aktuella data i ett frågebart format i OneLake kan du nu använda alla olika tjänster i Infrastrukturresurser, till exempel att köra analys med Spark, köra notebook-filer, datateknik, visualisera via Power BI-rapporter med mera.
Spegling i Fabric gör det möjligt för användare att njuta av en mycket integrerad, heltäckande och lätthanterad produkt som är utformad för att förenkla dina analysbehov. Spegling är en nyckelfärdig lösning med låg kostnad och låg latens som gör att du kan skapa en replik av dina data i OneLake som kan användas för alla dina analysbehov.
Delta-tabellerna kan sedan användas överallt i Infrastruktur, så att användarna kan påskynda sin resa till Infrastrukturresurser.
Varför ska du använda spegling i Infrastrukturresurser?
Idag har många organisationer verksamhetskritiska drifts- eller analysdata i silor.
För att få åtkomst till och arbeta med dessa data i dag krävs komplexa ETL-pipelines (Extrahera transformeringsbelastning), affärsprocesser och beslutsilor, vilket skapar:
- Begränsad och begränsad åtkomst till viktiga, ständigt föränderliga data
- Friktion mellan människor, processer och teknik
- Långa väntetider för att skapa datapipelines och processer till kritiskt viktiga data
- Ingen frihet att använda de verktyg du behöver för att analysera och dela insikter bekvämt
- Brist på en lämplig grund för folk att dela och samarbeta om data
- Inga vanliga öppna dataformat för alla analysscenarier – BI, AI, integrering, teknik och till och med appar
Spegling i Infrastruktur ger en enkel upplevelse för att snabba upp tiden till värde för insikter och beslut och dela upp datasilor mellan tekniklösningar:
- Replikering i nära realtid av data och metadata till en SaaS-datasjö med inbyggd analys för BI och AI
Microsoft Fabric-plattformen bygger på en grund av SaaS (Software as a Service), som tar enkelhet och integrering till en helt ny nivå. Mer information om Microsoft Fabric finns i Vad är Microsoft Fabric?
Spegling skapar tre objekt på arbetsytan Infrastruktur:
- Spegling hanterar replikering av data och metadata till OneLake och konvertering till Parquet, i ett analysklart format. Detta möjliggör nedströmsscenarier som datateknik, datavetenskap med mera.
- En SQL-analysslutpunkt
- En standardsemantisk modell
Förutom SQL-frågeredigeraren finns det ett brett ekosystem med verktyg, inklusive SQL Server Management Studio (SSMS), mssql-tillägget med Visual Studio Code och till och med GitHub Copilot.
Delning möjliggör enkel åtkomstkontroll och hantering, så att du kan kontrollera åtkomsten till känslig information. Delning möjliggör även säkert och demokratiserat beslutsfattande i hela organisationen.
Typer av spegling
Fabric erbjuder tre olika metoder för att föra in data i OneLake genom spegling.
- Databasspegling – Databasspegling i Microsoft Fabric möjliggör replikering av hela databaser och tabeller, så att du kan samla data från olika system till en enda analysplattform.
- Metadataspegling – Metadataspegling i Infrastruktur synkroniserar metadata (till exempel katalognamn, scheman och tabeller) i stället för att fysiskt flytta data. Den här metoden utnyttjar genvägar, vilket säkerställer att data finns kvar i källan samtidigt som de är lättillgängliga i Fabric.
- Öppen spegling – Öppen spegling i Fabric är utformad för att utöka spegling baserat på öppet Delta Lake-tabellformat. Den här funktionen gör att alla utvecklare kan skriva sina program ändringsdata direkt till ett speglat databasobjekt i Microsoft Fabric, baserat på den öppna speglingsmetoden och offentliga API:er.
För närvarande är följande externa databaser tillgängliga:
| Plattform | Replikering i nära realtid | Typ av spegling | Självstudier för slutpunkt till slutpunkt |
|---|---|---|---|
| Microsoft Fabric speglade databaser från Azure Cosmos DB (förhandsversion) | Ja | Databasspegling | Självstudie: Azure Cosmos DB |
| Microsoft Fabric speglade databaser från Azure Databricks (förhandsversion) | Ja | Metadataspegling | Självstudie: Azure Databricks |
| Microsoft Fabric-speglade databaser från Azure SQL Database | Ja | Databasspegling | Självstudie: Azure SQL Database |
| Microsoft Fabric speglade databaser från Azure SQL Managed Instance (förhandsversion) | Ja | Databasspegling | Självstudie: Azure SQL Managed Instance |
| Microsoft Fabric speglade databaser från Snowflake | Ja | Databasspegling | Självstudie: Snowflake |
| Öppna speglade databaser (förhandsversion) | Ja | Öppna spegling | Självstudie: Öppna spegling |
| Microsoft Fabric speglade databaser från Fabric SQL-databasen (förhandsversion) | Ja | Databasspegling | Konfigureras automatiskt |
Hur fungerar replikering i nära realtid av databasspegling?
Spegling aktiveras genom att skapa en säker anslutning till din driftdatakälla. Du väljer om du vill replikera en hel databas eller enskilda tabeller och Spegling kommer automatiskt att hålla dina data synkroniserade. När de har konfigurerats replikeras data kontinuerligt till OneLake för analysförbrukning.
Följande är grundläggande grundsatser för spegling:
Att aktivera spegling i Infrastrukturresurser är enkelt och intuitivt, utan att behöva skapa komplexa ETL-pipelines, allokera andra beräkningsresurser och hantera dataflytt.
Spegling i Infrastruktur är en fullständigt hanterad tjänst, så du behöver inte bekymra dig om att vara värd för, underhålla eller hantera replikering av den speglade anslutningen.
Hur fungerar metadataspegling?
Spegling möjliggör inte bara datareplikering utan kan också uppnås genom genvägar eller metadataspegling i stället för fullständig datareplikering, vilket gör att data kan vara tillgängliga utan att fysiskt flytta eller duplicera dem. Spegling i den här kontexten syftar på att endast replikera metadata, till exempel katalognamn, scheman och tabeller, snarare än själva faktiska data. Med den här metoden kan Fabric göra data från olika källor tillgängliga utan att duplicera dem, vilket förenklar datahanteringen och minimerar lagringsbehoven.
När du till exempel kommer åt data som registrerats i Unity Catalog speglar Fabric endast katalogstrukturen från Azure Databricks, vilket gör att underliggande data kan nås via genvägar. Den här metoden säkerställer att alla ändringar i källdata omedelbart återspeglas i Infrastruktur utan att kräva dataflytt, upprätthålla synkronisering i realtid och öka effektiviteten i åtkomsten till uppdaterad information.
Hur fungerar öppen spegling?
Förutom att spegla aktivering av datareplikering genom att skapa en säker anslutning till datakällan kan du också välja en befintlig dataprovider eller skriva ett eget program för att landa data i en speglad databas. När du har skapat en öppen speglad databas via offentligt API eller via Infrastrukturportalen kan du hämta en URL för landningszoner i OneLake, där du kan landa ändringsdata per öppen speglingsspecifikation.
När data är i landningszonen med rätt format börjar replikeringen att köras och hantera komplexiteten i att sammanfoga ändringarna med uppdateringar, infoga och ta bort som ska återspeglas i deltatabeller. Den här metoden säkerställer att alla data som skrivs in i landningszonen blir omedelbart och håller data i Infrastrukturresurser uppdaterade.
Delning
Delning möjliggör enkel åtkomstkontroll och hantering, medan säkerhetskontroller som säkerhet på radnivå (RLS) och säkerhet på objektnivå (OLS) och mer ser till att du kan kontrollera åtkomsten till känslig information. Delning möjliggör även säkert och demokratiserat beslutsfattande i hela organisationen.
Genom att dela ger användarna andra användare eller en grupp användare åtkomst till en speglad databas utan att ge åtkomst till arbetsytan och resten av dess objekt. När någon delar en speglad databas beviljar de också åtkomst till SQL-analysslutpunkten och tillhörande standard semantisk modell.
Mer information finns i Dela din speglade databas och hantera behörigheter.
Frågor över flera databaser
Med data från den speglade databasen som lagras i OneLake kan du skriva frågor mellan databaser, koppla data från speglade databaser, lager och SQL-analysslutpunkterna för Lakehouses i en enda T-SQL-fråga. Mer information finns i Skriva en fråga mellan databaser.
Du kan till exempel referera till tabellen från speglade databaser och lager med hjälp av namngivning i tre delar. I följande exempel använder du namnet i tre delar för att referera till ContosoSalesTable i lagret ContosoWarehouse. Från andra databaser eller lager är den första delen av den vanliga namngivningskonventionen i SQL i tre delar namnet på den speglade databasen.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Dataingenjör med dina speglade databasdata
Microsoft Fabric tillhandahåller olika funktioner för datateknik för att säkerställa att dina data är lättillgängliga, välorganiserade och av hög kvalitet. Från Fabric Dataingenjör ing kan du:
- Skapa och hantera dina data som Spark med hjälp av ett sjöhus
- Utforma pipelines för att kopiera data till ditt lakehouse
- Använda Spark-jobbdefinitioner för att skicka batch-/direktuppspelningsjobb till Spark-kluster
- Använda notebook-filer för att skriva kod för datainmatning, förberedelse och transformering
Datavetenskap med dina speglade databasdata
Microsoft Fabric erbjuder Fabric-Datavetenskap för att ge användarna möjlighet att slutföra datavetenskapsarbetsflöden från slutpunkt till slutpunkt för databerikning och affärsinsikter. Du kan utföra en mängd olika aktiviteter i hela datavetenskapsprocessen, hela vägen från datautforskning, förberedelse och rensning till experimentering, modellering, modellbedömning och visning av förutsägelseinsikter till BI-rapporter.
Microsoft Fabric-användare kan komma åt Datavetenskap arbetsbelastningar. Därifrån kan de identifiera och komma åt olika relevanta resurser. De kan till exempel skapa maskininlärningsexperiment, modeller och notebook-filer. De kan också importera befintliga notebook-filer på sidan Datavetenskap Start.
SQL-databas i Infrastrukturresurser
Du kan också skapa och hantera en SQL-databas direkt i Microsoft Fabric (förhandsversion) i Fabric-portalen. Baserat på Azure SQL Database speglas SQL-databasen i Fabric automatiskt i analyssyfte och gör att du enkelt kan skapa din driftdatabas i Fabric. SQL Database är startsidan i Fabric för OLTP-arbetsbelastningar och kan integreras med Fabrics källkontrollintegrering.