Vanliga frågor och svar om Data Factory i Microsoft Fabric

Data Factory hjälper dig att lösa komplexa dataintegrerings- och ETL-scenarier med dataflytt och datatransformeringstjänster i molnskala medan datateknik hjälper dig att skapa Lake House, använda Apache Spark för att transformera och förbereda dina data. Skillnader mellan var och en av infrastrukturresursernas terminologi/upplevelser är tillgängliga under Microsoft Fabric-terminologi.

Kapacitetsadministratörer i Microsoft Fabric kan använda appen Kapacitetsmått för Microsoft Fabric, även kallat måttappen, för att få insyn i kapacitetsresurser. Med den här appen kan administratörer se hur mycket processoranvändning, bearbetningstid och minne som används av datapipelines, dataflöden och andra objekt i deras kapacitetsaktiverade arbetsytor för infrastrukturresurser. Få insyn i överbelastningsorsaker, tider för hög efterfrågan, resursförbrukning och mer och identifiera enkelt de mest krävande eller mest populära objekten.

Du kan separera de olika arbetsbelastningarna mellan arbetsytor och använda roller som medlem och visningsprogram för att ha en arbetsyta för datateknik som förbereder data för en arbetsyta som används för rapport- eller AI-utbildning. Med visningsrollen kan du sedan använda data från datateknikarbetsytan.

För närvarande erbjuder den virtuella nätverksgatewayen en injicerande metod för sömlös integrering i ditt virtuella nätverk, vilket ger en robust väg för att använda privata slutpunkter för att upprätta säkra anslutningar till dina datalager. Det är viktigt att observera att den virtuella nätverksgatewayen endast rymmer Infrastrukturdataflöden just nu. Våra kommande initiativ omfattar dock att utöka dess funktioner så att de omfattar infrastrukturledningar.

När du använder den lokala datagatewayen kan du nu ansluta till lokala datakällor med hjälp av dataflöden och datapipelines (förhandsversion) med Data Factory i Microsoft Fabric. Mer information finns i Så här kommer du åt lokala datakällor i Data Factory.

Månadsuppdateringar för infrastrukturresurser finns på Microsoft Fabric-bloggen.

Data Factory-priser i Microsoft Fabric innehåller en omfattande guide till hur kostnaderna beräknas för datapipelines och Dataflöde Gen2. Den innehåller flera scenarier med prissättningsexempel som hjälper dig att förstå prismodellen bättre.

Det som är nytt och planerat för Data Factory i Microsoft Fabric ger insikter om kommande funktioner och deras uppskattade tidslinjer för lansering under de närmaste månaderna.

Med Fabric Data Factory kan du utveckla pipelines som maximerar dataflyttens dataflöde för din miljö. Dessa pipelines använder följande resurser fullt ut:

• Nätverksbandbredd mellan käll- och måldatalager
• Käll- eller måldatalagerindata/utdataåtgärder per sekund (IOPS) och bandbredd Den här fullständiga användningen innebär att du kan beräkna det totala dataflödet genom att mäta det minsta tillgängliga dataflödet med följande resurser:
• Källdatalager
• Måldatalager
• Nätverksbandbredd mellan käll- och måldatalager Under tiden arbetar vi kontinuerligt med innovationer för att öka det bästa möjliga dataflödet du kan uppnå. Idag kan tjänsten flytta 1 TB TPC-DI-datamängd (parquet-filer) till både Fabric Lakehouse-tabellen och Data Warehouse inom 5 minuter – flytta 1B rader under 1 min. Observera att den här prestandan bara är en referens genom att köra ovanstående testdatauppsättning. Det faktiska dataflödet beror fortfarande på de faktorer som angavs tidigare. Dessutom kan du alltid multiplicera dataflödet genom att köra flera kopieringsaktiviteter parallellt. Du kan till exempel använda ForEach-loopen.

Vårt nuvarande fokus omfattar aktiv utveckling av CDC-kapacitet inom Data Factory In Fabric. Med den här kommande funktionen kan du flytta data över flera datakällor som kombinerar olika kopieringsmönster, inklusive mönster för masskopiering/batchkopiering, inkrementellt/kontinuerligt kopieringsmönster (CDC) och kopieringsmönster i realtid till en 5x5-upplevelse.

Power Query-aktiviteten i ADF delar likheter med Dataflow Gen2, men den har extra funktioner som möjliggör åtgärder som att skriva till specifika datamål osv. Den här jämförelsen överensstämmer mer rättvist med Dataflow Gen1 (Power BI-dataflöden eller Power Apps-dataflöden). Ta en titt här för mer information: Skillnader mellan Dataflöde Gen1 och Dataflöde Gen2.

I vissa användarupplevelser kan du stöta på systemartefakter som inte är avsedda för interaktion. Det är bäst att bortse från dessa artefakter, eftersom de så småningom tas bort från Hämta data-upplevelser i framtiden.

Det här felmeddelandet uppstår när användaren som skapade det första dataflödet på arbetsytan inte har loggat in på Infrastrukturresurser på mer än 90 dagar eller har lämnat organisationen. För att lösa det bör användaren som nämns i felmeddelandet logga in på Infrastrukturresurser. Om användaren har lämnat organisationen öppnar du ett supportärende.

Azure Data Factory (ADF) och Azure Synapse-pipelines har en separat PaaS-översikt (Platform as a Service). Dessa två lösningar fortsätter att samexistera tillsammans med Fabric Data Factory, som fungerar som SaaS-erbjudandet (Software as a Service). ADF- och Synapse-pipelines stöds fortfarande fullt ut och det finns inga planer på utfasning. Det är viktigt att betona att vårt förslag för kommande projekt är att initiera dem med hjälp av Fabric Data Factory. Dessutom har vi strategier för att underlätta övergången av ADF- och Synapse-pipelines till Fabric Data Factory, så att de kan dra nytta av nya infrastrukturfunktioner. Du kan läsa mer om detta här.

När vi strävar efter att överbrygga funktionsluckor och införliva de robusta funktionerna för datapipelineorkestrering och arbetsflöden som finns i ADF/Azure Synapse-pipelines i Fabric Data Factory är vi medvetna om att vissa funktioner som finns i ADF/Synapse-pipelines kan vara nödvändiga för dina behov. Du uppmanas att fortsätta använda ADF/Synapse-pipelines om dessa funktioner är nödvändiga, men vi rekommenderar att du först utforskar dina nya möjligheter till dataintegrering i Fabric. Din feedback om vilka funktioner som är avgörande för din framgång är ovärderlig. För att underlätta detta arbetar vi aktivt med att introducera en ny funktion, vilket möjliggör migrering av dina befintliga datafabriker från Azure till Fabric-arbetsytor.

Vi backporterar inte nya funktioner från Fabric-pipelines till ADF/Synapse-pipelines. Vi har två separata översikter för Fabric Data Factory och ADF/Synapse. Vi utvärderar backport-begäranden som svar på inkommande feedback.

Huvudfunktionen i Fabric-pipelinen liknar Azure Synapse-pipelinen, men genom att använda Infrastruktur-pipeline kan användarna tillämpa alla dataanalysfunktioner i Fabric-plattformen. Viktiga skillnader och funktionsmappningar mellan Fabric-pipelinen och Azure Synapse-pipelinen finns här: Skillnader mellan Data Factory i Fabric och Azure.

För att underlätta kundernas övergång till Microsoft Fabric från Azure Data Factory (ADF) erbjuder vi en rad viktiga funktioner och supportmekanismer. För det första ger vi omfattande stöd för de flesta aktiviteter som används i ADF i Fabric, tillsammans med tillägg av nya aktiviteter som är skräddarsydda för meddelanden, till exempel Teams och Outlook-funktioner. Kunder kan komma åt en detaljerad lista över tillgängliga aktiviteter i Data Factory i Fabric. Dessutom introducerade vi anslutningsapparna Fabric Lakehouse/Warehouse i Azure Data Factory, vilket möjliggör sömlös dataintegrering i Fabrics OneLake-miljö för ADF-kunder. Vi tillhandahåller också en guide för ADF-kunder som hjälper dig att mappa dina befintliga omvandlingar av mappningsdataflöden till nya Dataflow Gen2-transformeringar. När vi tittar framåt inkluderar vi möjligheten att montera ADF-resurser i Fabric i vår översikt, vilket gör det möjligt för kunderna att behålla funktionerna i sina befintliga ADF-pipelines i Azure samtidigt som de utforskar Infrastrukturresurser och planerar omfattande uppgraderingsstrategier. Vi samarbetar nära med kunder och communityn för att fastställa de mest effektiva sätten att stödja migrering av datapipelines från ADF till Infrastrukturresurser. Som en del av det här arbetet tillhandahåller vi en uppgraderingsupplevelse som gör att du kan testa dina aktuella datapipelines i Infrastruktur genom att montera och uppgradera dem.

Relaterat innehåll

Introduktion – Självstudie om Data Factory