Hva er speiling i stoff?
Speiling i stoff er en rimelig og lav ventetidsløsning for å bringe data fra ulike systemer sammen til en enkelt analyseplattform. Du kan kontinuerlig replikere den eksisterende dataeiendommen direkte til Fabrics OneLake fra en rekke Azure-databaser og eksterne datakilder.
Med de mest oppdaterte dataene i et spørringsbart format i OneLake, kan du nå bruke alle de forskjellige tjenestene i Fabric, for eksempel å kjøre analyser med Spark, kjøre notatblokker, datateknikk, visualisere gjennom Power BI-rapporter med mer.
Speiling i Stoff gjør det mulig for brukere å nyte et svært integrert, ende-til-ende og brukervennlig produkt som er utformet for å forenkle analysebehovene dine. Speiling er bygget for åpenhet og samarbeid mellom Microsoft, og teknologiløsninger som kan lese tabellformatet Delta Lake med åpen kildekode, og er en rimelig og rimelig nøkkelferdig løsning som lar deg opprette en kopi av dataene dine i OneLake som kan brukes til alle dine analytiske behov.
Delta-bordene kan deretter brukes overalt stoff, slik at brukerne kan akselerere sin reise inn i Fabric.
Hvorfor bruke Speiling i Stoff?
I dag har mange organisasjoner driftskritiske operasjonelle eller analytiske data som sitter i siloer.
Tilgang til og arbeid med disse dataene i dag krever komplekse ETL-datasamlebånd (Extract Transform Load), forretningsprosesser og beslutningssiloer, og oppretter:
- Begrenset og begrenset tilgang til viktige, stadig skiftende data
- Friksjon mellom mennesker, prosess og teknologi
- Lange ventetider for å opprette datasamlebånd og prosesser til kritisk viktige data
- Ingen frihet til å bruke verktøyene du trenger for å analysere og dele innsikter komfortabelt
- Mangel på et skikkelig grunnlag for folk å dele og samarbeide om data
- Ingen vanlige, åpne dataformater for alle analytiske scenarioer – BI, AI, integrasjon, teknikk og til og med apper
Speiling i stoff gir en enkel opplevelse for å øke hastigheten på tid til verdi for innsikt og beslutninger, og å bryte ned datasiloer mellom teknologiløsninger:
- Nesten sanntidsreplikering av data og metadata i en SaaS-datainnsjø, med innebygd analyse innebygd for BI og AI
Microsoft Fabric-plattformen er bygget på et grunnlag av Software as a Service (SaaS), som tar enkelhet og integrering til et helt nytt nivå. Hvis du vil lære mer om Microsoft Fabric, kan du se Hva er Microsoft Fabric?
Speiling oppretter tre elementer i Fabric-arbeidsområdet:
- Speiling administrerer replikering av data og metadata i OneLake og konvertering til Parquet, i et analyseklart format. Dette muliggjør nedstrømsscenarioer som datateknikk, datavitenskap og mer.
- Et endepunkt for SQL-analyse
- En standard semantisk modell
I tillegg til redigeringsprogrammet for SQL-spørringer finnes det et bredt økosystem av verktøy, inkludert SQL Server Management Studio (SSMS), mssql-utvidelsen med Visual Studio Code og til og med GitHubCopilot.
Deling gir enkel tilgangskontroll og administrasjon for å sikre at du kan kontrollere tilgangen til sensitiv informasjon. Deling muliggjør også sikre og demokratiserte beslutninger på tvers av organisasjonen.
Speilingstyper
Fabric tilbyr tre forskjellige tilnærminger for å bringe data inn i OneLake gjennom speiling.
- Speiling av database – Speiling av databaser i Microsoft Fabric tillater replikering av hele databaser og tabeller, slik at du kan hente data fra ulike systemer sammen til én enkelt analyseplattform.
- Metadataspeiling – Metadata som speiler i Fabric synkroniserer metadata (for eksempel katalognavn, skjemaer og tabeller) i stedet for fysisk flytting av dataene. Denne tilnærmingen drar nytte av snarveier, slik at dataene forblir i kilden, samtidig som de er lett tilgjengelige i Fabric.
- Åpent speiling – Åpen speiling i Stoff er utformet for å utvide speiling basert på åpent Tabellformat for Delta Lake. Denne funksjonen gjør det mulig for alle utviklere å skrive programmets endringsdata direkte til et speilvendt databaseelement i Microsoft Fabric, basert på den åpne speilingstilnærmingen og offentlige API-er.
Følgende eksterne databaser er for øyeblikket tilgjengelige:
| Plattform | Nær replikering i sanntid | Type speiling | Opplæring fra ende til ende |
|---|---|---|---|
| Microsoft Fabric speilvendte databaser fra Azure Cosmos DB (forhåndsversjon) | Ja | Speiling av database | Opplæring: Azure Cosmos DB |
| Microsoft Fabric speilvendte databaser fra Azure Databricks (forhåndsversjon) | Ja | Speiling av metadata | Opplæring: Azure Databricks |
| Microsoft Fabric speilvendte databaser fra Azure SQL Database | Ja | Speiling av database | Opplæring: Azure SQL Database |
| Microsoft Fabric speilvendte databaser fra Azure SQL administrert forekomst (forhåndsversjon) | Ja | Speiling av database | Opplæring: Azure SQL administrert forekomst |
| Microsoft Fabric speilet databaser fra Snowflake | Ja | Speiling av database | Opplæring: Snowflake |
| Åpne speilvendte databaser (forhåndsvisning) | Ja | Åpne speiling | Opplæring: Åpne speiling |
| Microsoft Fabric speilvendte databaser fra Fabric SQL-database (forhåndsversjon) | Ja | Speiling av database | Konfigurert automatisk |
Hvordan fungerer nesten sanntidsreplikering av databasespeiling?
Speiling aktiveres ved å opprette en sikker tilkobling til den operative datakilden. Du velger om du vil replikere en hel database eller individuelle tabeller, og Speiling vil automatisk holde dataene synkronisert. Når de er konfigurert, replikeres data kontinuerlig til OneLake for analyseforbruk.
Følgende er kjerneprinsipper i Speiling:
Aktivering av speiling i stoff er enkelt og intuitivt, uten å måtte opprette komplekse ETL-datasamlebånd, tildele andre databehandlingsressurser og administrere databevegelser.
Speiling i Fabric er en fullstendig administrert tjeneste, så du trenger ikke å bekymre deg for å være vert, vedlikeholde eller administrere replikering av den speilede tilkoblingen.
Hvordan fungerer speiling av metadata?
Speiling aktiverer ikke bare datareplikering, men kan også oppnås gjennom snarveier eller metadataspeiling i stedet for full datareplikering, slik at data kan være tilgjengelige uten fysisk flytting eller duplisering. Speiling i denne konteksten refererer til å replikere bare metadata, for eksempel katalognavn, skjemaer og tabeller, i stedet for selve dataene. Denne tilnærmingen gjør det mulig for Fabric å gjøre data fra ulike kilder tilgjengelige uten å duplisere dem, forenkle databehandling og minimere lagringsbehov.
Når du for eksempel får tilgang til data som er registrert i Unity Catalog, speiler Fabric bare katalogstrukturen fra Azure Databricks, slik at de underliggende dataene kan åpnes gjennom snarveier. Denne metoden sikrer at eventuelle endringer i kildedataene umiddelbart gjenspeiles i Fabric uten å kreve dataflytting, opprettholde sanntidssynkronisering og forbedre effektiviteten for å få tilgang til oppdatert informasjon.
Hvordan fungerer åpne speilinger?
I tillegg til å speile aktivering av datareplikering ved å opprette en sikker tilkobling til datakilden, kan du også velge en eksisterende dataleverandør eller skrive ditt eget program for å lande data i speilvendt database. Når du har opprettet en åpen speilvendt database via offentlig API eller via Fabric-portalen, kan du få en nettadresse for landingssone i OneLake, der du kan endre data per åpne speilingsspesifikasjon.
Når dataene er i målsonen med riktig format, begynner replikering å kjøre og administrere kompleksiteten ved å slå sammen endringene med oppdateringer, sett inn og slett for å gjenspeiles i deltatabeller. Denne metoden sikrer at alle data som er skrevet inn i landingssonen, vil være umiddelbart og holde dataene i Fabric oppdatert.
Deling
Deling muliggjør enkel tilgangskontroll og administrasjon, mens sikkerhetskontroller som sikkerhet på radnivå (RLS) og sikkerhet på objektnivå (OLS) og mer sørger for at du kan kontrollere tilgangen til sensitiv informasjon. Deling muliggjør også sikre og demokratiserte beslutninger på tvers av organisasjonen.
Ved å dele gir brukere andre brukere eller en gruppe brukere tilgang til en speilvendt database uten å gi tilgang til arbeidsområdet og resten av elementene. Når noen deler en speilet database, gir de også tilgang til SQL Analytics-endepunktet og den tilknyttede standard semantiske modellen.
Hvis du vil ha mer informasjon, kan du se Dele den speilede databasen og behandle tillatelser.
Spørringer på tvers av databaser
Når dataene fra den speilede databasen er lagret i OneLake, kan du skrive spørringer over flere databaser, koble sammen data fra speilvendte databaser, lagre og SQL-analyseendepunktene i Lakehouses i én enkelt T-SQL-spørring. Hvis du vil ha mer informasjon, kan du se Skrive en kryssdatabasespørring.
Du kan for eksempel referere til tabellen fra speilvendte databaser og lagre ved hjelp av tredelt navngiving. Bruk det tredelte navnet i eksemplet nedenfor til å referere til ContosoSalesTable i lageret ContosoWarehouse. Fra andre databaser eller lagre er den første delen av standard sql tredelt navnekonvensjon navnet på den speilede databasen.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Dataingeniør med speilvendte databasedata
Microsoft Fabric tilbyr ulike funksjoner for datateknikk for å sikre at dataene dine er lett tilgjengelige, velorganiserte og av høy kvalitet. Fra Fabric Dataingeniør ing kan du:
- Opprett og administrer dataene dine som Spark ved hjelp av et lakehouse
- Utforme rørledninger for å kopiere data til lakehouse
- Bruk Spark-jobbdefinisjoner til å sende inn parti-/strømmingsjobb til Spark-klyngen
- Bruke notatblokker til å skrive kode for datainntak, forberedelse og transformasjon
Datavitenskap med speilvendte databasedata
Microsoft Fabric tilbyr Fabric Data Science for å gi brukerne mulighet til å fullføre ende-til-ende-arbeidsflyter for datavitenskap med det formål å berike data og forretningsinnsikt. Du kan fullføre et bredt spekter av aktiviteter på tvers av hele datavitenskapsprosessen, hele veien fra datautforskning, forberedelse og rensing til eksperimentering, modellering, modellpoeng og servering av prediktiv innsikt i BI-rapporter.
Microsoft Fabric-brukere har tilgang til datavitenskapens arbeidsbelastninger. Derfra kan de oppdage og få tilgang til ulike relevante ressurser. De kan for eksempel opprette maskinlæringseksperimenter, modeller og notatblokker. De kan også importere eksisterende notatblokker på hjemmesiden for datavitenskap.
SQL-database i Fabric
Du kan også opprette og administrere en SQL-database direkte i Microsoft Fabric (forhåndsvisning) i Stoff-portalen. Sql-databasen i Fabric speiles automatisk for analyseformål basert på Azure SQL Database, og lar deg enkelt opprette den operative databasen i Fabric. SQL-database er hjemmet i Fabric for OLTP-arbeidsbelastninger, og kan integreres med Fabrics kildekontrollintegrering.