Nyheter och planer för Data Factory i Microsoft Fabric
Viktigt!
I lanseringsplanerna beskrivs funktioner som kanske eller kanske inte har släppts ännu. Leveranstidslinjen och den planerade funktionen kan ändras eller kanske inte skickas. Mer information finns i Microsoft-principen.
Data Factory i Microsoft Fabric kombinerar integrering av medborgardata och pro-dataintegreringsfunktioner till en enda modern dataintegreringsupplevelse. Det ger anslutning till mer än 100 relationsdatabaser och icke-relationella databaser, sjöhus, informationslager, allmänna gränssnitt som REST-API:er, OData med mera.
Dataflöden: Med Dataflöde Gen2 kan du utföra storskaliga datatransformeringar och har stöd för olika utdatamål som skriver till Azure SQL Database, Lakehouse, Data Warehouse med mera. Dataflödesredigeraren erbjuder mer än 300 transformeringar, inklusive AI-baserade alternativ, och gör att du enkelt kan transformera data med bättre flexibilitet än något annat verktyg. Oavsett om du extraherar data från en ostrukturerad datakälla, till exempel en webbsida eller omformar en befintlig tabell i Power Query-redigeraren, kan du enkelt använda Power Querys dataextrahering efter exempel, som använder artificiell intelligens (AI) och förenklar processen.
Datapipelines: Datapipelines erbjuder möjligheten att skapa mångsidiga arbetsflöden för dataorkestrering som sammanför uppgifter som extrahering av data, inläsning i önskade datalager, körning av notebook-filer, KÖRNING av SQL-skript med mera. Du kan snabbt skapa kraftfulla metadatadrivna datapipelines som automatiserar repetitiva uppgifter. Du kan till exempel läsa in och extrahera data från olika tabeller i en databas, iterera genom flera containrar i Azure Blob Storage med mera. Med datapipelines kan du dessutom komma åt data från Microsoft 365 med hjälp av anslutningsappen Microsoft Graph-dataanslutning ion (MGDC).
Kopieringsjobb: Kopieringsjobbet förenklar datainmatningen med en effektiv och användarvänlig process som flyttar data i petabyteskala från valfri källa till valfri destination. Du kan kopiera data med olika dataleveransformat, inklusive batchkopiering, inkrementell kopiering med mera.
Apache Airflow-jobb: Apache Airflow-jobbet är nästa generation av Azure Data Factorys Workflow Orchestration Manager. Det är ett enkelt och effektivt sätt att skapa och hantera Apache Airflow-orkestreringsjobb så att du enkelt kan köra riktade Acyclic Graphs (DAG:er) i stor skala. Apache Airflow-jobbet ger dig en modern dataintegreringsupplevelse för att mata in, förbereda, transformera och orkestrera data från en omfattande uppsättning datakällor med hjälp av kod.
Databasspegling: Databasspegling i Infrastrukturresurser är en lågkostnadslösning med låg svarstid, utformad med öppna standarder (t.ex. Delta Lake-tabellformat). Det gör att du snabbt kan replikera data och metadata från olika system. Med databasspegling kan du kontinuerligt replikera din dataegendom till Microsoft Fabric OneLake för analys. Med en mycket integrerad och lätthanterad upplevelse kan du nu förenkla hur du kan komma igång med dina analysbehov.
Mer information finns i dokumentationen.
Investeringsområden
Under de närmaste månaderna kommer Data Factory i Microsoft Fabric att utöka sina anslutningsalternativ och fortsätta att lägga till det omfattande biblioteket med transformeringar och datapipelineaktiviteter. Dessutom kan du utföra datareplikering med höga prestanda i realtid från driftdatabaser och föra dessa data till sjön för analys.
Stöd för Dataflow Gen2 CI/CD och offentliga API:er
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
Funktionerna i Dataflow Gen2 utökas för att stödja följande funktioner i Fabric, inklusive:
- Att kunna inkludera Dataflow Gen2-objekt i ALM-distributionspipelines.
- Att kunna utnyttja Dataflow Gen2-objekt med funktioner för källkontroll (Git-integrering).
- Offentliga CRUDLE-API:er för Dataflow Gen2-objekt.
Det här är mycket efterfrågade funktioner från många kunder och vi är glada över att göra dem tillgängliga som en förhandsversionsfunktion.
Uppdatera tabeller och partitioner för semantisk modell
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
Pipelineanvändare är mycket glada över vår mycket populära pipelineaktivitet för semantisk modelluppdatering. En vanlig fråga har varit att förbättra elt-bearbetningspipelinen genom att uppdatera specifika tabeller och partitioner i sina modeller. Nu har vi aktiverat den här funktionen, vilket gör pipelineaktiviteten till det mest effektiva sättet att uppdatera fabric-semantiska modeller!
Import och export av fabric Data Factory-pipeline
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Allmän tillgänglighet
Som Data Factory-pipelineutvecklare vill du ofta exportera din pipelinedefinition för att dela den med andra utvecklare eller återanvända den på andra arbetsytor. Vi har nu lagt till funktionen för att exportera och importera dina Data Factory-pipelines från din infrastrukturarbetsyta. Den här kraftfulla funktionen möjliggör ännu fler samarbetsfunktioner och är ovärderlig när du felsöker dina pipelines med våra supportteam.
Copilot för Data Factory (datapipeline)
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
Copilot för Data Factory (datapipeline) ger kunderna möjlighet att skapa datapipelines med naturligt språk och ger felsökningsvägledning.
Spegling för Azure SQL DB
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Allmän tillgänglighet
Spegling ger en sömlös no-ETL-upplevelse för att integrera dina befintliga Azure SQL DB-data med resten av dina data i Microsoft Fabric. Du kan kontinuerligt replikera dina Azure SQL DB-data direkt till Fabric OneLake nästan i realtid, utan att påverka prestandan för dina transaktionsarbetsbelastningar.
Läs mer om spegling i Microsoft Fabric
Öppna spegling
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
Open Mirroring är en kraftfull funktion som förbättrar Fabrics utökningsbarhet genom att tillåta alla program eller dataleverantörer att föra sina dataegenskaper direkt till OneLake med minimal ansträngning. Genom att göra det möjligt för dataleverantörer och program att skriva ändringsdata direkt till en speglad databas i Fabric förenklar Open Mirroring hanteringen av komplexa dataändringar, vilket säkerställer att alla speglade data kontinuerligt är uppdaterade och redo för analys.
Stöd för offentliga API:er för datapipelines SPN
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
För att göra det mycket enklare och säkrare att använda REST-API:er för pipeline i Fabric aktiverar vi SPN-stöd (tjänstens huvudnamn) för offentliga API:er.
Stöd för datapipelines för infrastrukturarbetsytevariabler
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
När du implementerar CICD i pipelinemiljöerna för Fabric Data Factory är det mycket viktigt att uppdatera värden från utveckling till testning till prod osv. Genom att använda variabler i Infrastrukturresurser kan du ersätta värden mellan miljöer och även dela värden mellan pipelines som liknar ADF:s globala parametrar.
Automatisk uppdatering av lokal datagateway
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Den lokala funktionen för automatisk uppgradering av datagateway säkerställer att gatewayen alltid kör den senaste versionen, vilket ger förbättrade funktioner, säkerhetsuppdateringar och nya funktioner utan manuella åtgärder. Den här funktionen förenklar hanteringen av gatewayen genom att automatiskt ladda ned och installera uppdateringar när de blir tillgängliga.
Stöd för datapipeline för VNET-gatewayer
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
VNET-datagatewayen stöder Infrastrukturdatapipeline, inklusive pipelinekopieringsaktivitet och andra pipelineaktiviteter. Kunder kommer att kunna ansluta säkert till sina datakällor i pipeline via VNET-datagateway.
Dataflöde Gen2-utdatamål till SharePoint-filer
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
När du har rensat och förberett data med Dataflow Gen 2 kan den här funktionen välja SharePoint-filer som datamål. Den här funktionen gör det enkelt att exportera omvandlade data till en CSV-fil och lagra dem i Microsoft SharePoint för att göras tillgängliga för alla med behörighet till webbplatsen.
Stöd för datapipeline för utlösare för rullande fönster
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Schemaläggning av pipelinekörningar med tidsfönster som inte överlappar varandra och som kan "spelas upp igen" är en mycket viktig funktion i pipelines som många ADF-användare har haft nytta av att använda. Vi är superglada över att ta med den här funktionen för rullande fönster till pipelineschemaläggning till Fabric Data Factory.
Azure Data Factory-objekt
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
Vi är superglada över att kunna meddela den allmänna tillgängligheten för Azure Data Factory-objektet i Fabric. Med den här nya funktionen kan befintliga ADF-användare snabbt och enkelt göra sina datafabriker från Azure tillgängliga för arbetsytan Infrastruktur. Nu kan du hantera, redigera och anropa dina ADF-pipelines direkt från Infrastrukturresurser!
Stöd för kopieringsaktivitet för datapipelines för ytterligare källor
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
Vi utökar stödet för fler källanslutningar i aktiviteten Kopiera, vilket gör det möjligt för kunder att sömlöst kopiera data från en mängd olika källor, inklusive Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (paketerat) med mera.
Parallelliserad körning av dataflöden gen 2
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
"Användarna vill ha ett flexibelt sätt att definiera logiken i sina Dataflow Gen2-transformeringar och parallellisera körningen med olika argument. I dag måste de skapa flera dataflöden eller flera frågor i sitt enda dataflöde för att ha en logik som kan återanvändas med olika argument.
Som en del av den här förbättringen aktiverar vi sätt för användare att ange en "foreach"-loop för hela dataflödesobjektet som drivs från en fristående fråga som fungerar som listan över parametervärden för att iterera över och driva den här containerbaserade metoden för parallelliserad och dynamisk körning.
Identitetshantering för datakälla (Azure Key Vault)
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Stöd för Azure Key Vault – Du kan lagra dina nycklar och hemligheter i Azure Key Vault och ansluta till det. På så sätt kan du hantera dina nycklar på en enda plats.
Spegling för CosmosDB
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
Spegling ger en sömlös no-ETL-upplevelse för att integrera dina befintliga Azure Cosmos DB-data med resten av dina data i Microsoft Fabric. Du kan kontinuerligt replikera dina Azure Cosmos DB-data direkt till Fabric OneLake nästan i realtid, utan att påverka prestandan för dina transaktionsarbetsbelastningar.
Stöd för Dataflow Gen2 CI/CD och offentliga API:er
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
Dataflow Gen2-objekt stöder CI/CD-funktioner i Infrastrukturresurser, inklusive källkontroll (Git-integrering) samt ALM-distributionspipelines. Dessutom kommer kunderna att kunna interagera programmatiskt med Dataflow Gen2-objekt i Infrastruktur via REST-API:er för infrastrukturresurser, vilket ger stöd för CRUDLE-åtgärder via Dataflow Gen2-objekt.
Stöd för offentliga API:er för Dataflow Gen2 SPN
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Dataflödes-Gen2-objekt stöds via REST-API:er för infrastrukturresurser med stöd för autentisering av tjänstens huvudnamn.
Inkrementell uppdatering för Dataflow Gen2
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
I slutet av september 2024 släppte vi Inkrementell uppdatering av Dataflow Gen2 som en offentlig förhandsversion. Vi fortsätter att övervaka kundfeedback och förbättra den här funktionen som leder fram till dess allmänna tillgänglighet, planerad till slutet av Q1CY2025.
Stöd för inkrementell uppdatering för Dataflow Gen2 för Lakehouse-mål
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Dataflöde Gen2 Inkrementell uppdatering optimerar dataflödeskörningen för att endast hämta de senaste data som ändrats i dataflödets datakällor, baserat på en datetime-partitionskolumn. Detta säkerställer att data kan läsas in stegvis i OneLake för nedströmstransformeringar eller utdata till ett dataflödesutdatamål.
Som en del av den här förbättringen ger vi direkt stöd för inkrementell uppdatering för att mata ut data direkt till Fabric Lakehouse-tabeller.
Dataflöde Gen2-parameterisering
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Användarna är vana vid att köra metadatadrivna pipelines där de kan mata in variabler eller parametrar i olika aktiviteter i en pipeline och på så sätt köra saker på ett mer dynamiskt sätt: Skapa en gång, återanvänd flera gånger.
Som en del av den här förbättringen gör vi det så att dataflöden som körs via en datapipeline i Infrastruktur kan förses med parametervärden för deras befintliga dataflödesparametrar.
Stöd för Dataflow Gen2 för spara som nytt objekt
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Kunder vill ofta återskapa ett befintligt dataflöde som ett nytt dataflöde. För att åstadkomma detta måste de idag skapa det nya Dataflow Gen2-objektet från grunden och kopiera och klistra in sina befintliga frågor, eller använda mallfunktionerna Exportera/importera Power Query. Detta är dock inte bara obekvämt på grund av onödiga steg, men det medför inte heller ytterligare dataflödesinställningar, till exempel Schemalagd uppdatering och andra objektegenskaper (namn, beskrivning, känslighetsetikett osv.).
Som en del av den här förbättringen ger vi en snabb "Spara som"-gest i Redigeringsupplevelsen för Dataflow Gen2, så att användarna kan spara sitt befintliga dataflöde som ett nytt dataflöde.
Stöd för Dataflow Gen1 för Spara som dataflöde Gen2 nytt objekt
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Kunder vill ofta återskapa ett befintligt Dataflöde Gen1-objekt som ett nytt Dataflöde Gen2-objekt. För att åstadkomma detta måste de idag skapa det nya Dataflow Gen2-objektet från grunden och kopiera och klistra in sina befintliga frågor, eller använda mallfunktionerna Exportera/importera Power Query. Detta är dock inte bara obekvämt på grund av onödiga steg, men det medför inte heller ytterligare dataflödesinställningar, till exempel Schemalagd uppdatering och andra objektegenskaper (namn, beskrivning, känslighetsetikett osv.).
Som en del av den här förbättringen ger vi en snabb "Spara som"-gest i Redigeringsupplevelsen för Dataflow Gen1, så att användarna kan spara sitt befintliga Dataflöde Gen1-objekt som ett nytt Dataflöde Gen2-objekt.
Kopiera jobb – Inkrementell kopia utan att användarna behöver ange vattenstämpelkolumner
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Vi kommer att introducera inbyggda CDC-funktioner (Change Data Capture) i Kopieringsjobb för nyckelanslutningar. Det innebär att inkrementell kopiering automatiskt identifierar ändringar – kunderna behöver inte ange inkrementella kolumner.
Kopiera jobb
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Allmän tillgänglighet
Kopieringsjobbet i Data Factory höjer datainmatningsupplevelsen till en mer effektiv och användarvänlig process från alla källor till alla mål. Nu är det enklare än någonsin att kopiera dina data. Kopieringsjobbet stöder olika format för dataleverans, inklusive både batchkopiering och inkrementell kopiering, vilket ger flexibiliteten att uppfylla dina specifika behov.
Ci/CD-stöd för kopieringsjobb
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Kopiera jobbobjekt har stöd för CI/CD-funktioner i Infrastrukturresurser, inklusive källkontroll (Git-integrering) samt ALM-distributionspipelines.
Stöd för offentliga API:er för kopieringsjobb
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Kunder kommer att kunna interagera programmatiskt med kopieringsjobbobjekt i infrastrukturresurser via infrastrukturresursernas offentliga API:er, vilket ger stöd för CRUDLE-åtgärder via kopiera jobbobjekt
Stöd för Dataflow Gen2 för ytterligare snabbkopieringskällor
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Vi utökar Snabbkopiering i Dataflöde Gen2 för att stödja fler källanslutningar, vilket gör att kunder kan läsa in data med högre prestanda. Nya anslutningsappar kommer att omfatta Fabric Lakehouse-filer, Google BigQuery, Amazon Redshift med mera – vilket möjliggör snabbare och effektivare dataintegrering.
Stöd för kopieringsjobb för ytterligare källor
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Vi utökar stödet för fler källanslutningar i kopieringsjobbet, vilket gör det möjligt för kunder att sömlöst kopiera data från en mängd olika källor. Samtidigt behåller vi den förenklade upplevelsen samtidigt som vi erbjuder olika kopieringsmönster, inklusive både fullständig kopia och inkrementell kopiering.
Stöd för Data Pipeline för OneLake-lagringshändelseutlösare
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
En populär mekanism som används för att anropa pipelines i Fabric Data Factory använder filutlösaren. När filhändelser (d.v.s. fil ankomst, filborttagning ...) identifieras mot Blob Store eller ADLS Gen2 anropas fabric Data Factory-pipelinen. Nu har vi lagt till OneLake-filhändelser till utlösarhändelsetyperna i Infrastrukturresurser.
Gör det möjligt för kunder att parametrisera sina anslutningar
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
Anslutningar ger ett gemensamt ramverk för att definiera anslutning och autentisering för dina datalager. Dessa anslutningar kan delas mellan olika objekt. Med stöd för parameterisering kan du skapa komplexa och återanvändbara pipelines, notebook-filer, dataflöden och andra objekttyper.
Stöd för datapipelines för DBT
Uppskattad tidslinje för lansering: Q1 2025
Versionstyp: Offentlig förhandsversion
DBT CLI Orchestration (Data Build Tool): Innehåller data build-verktyget (dbt) för arbetsflöden för datatransformering.
Stöd för användartilldelade hanterade identiteter i anslutningar
Uppskattad tidslinje för lansering: Q2 2025
Versionstyp: Offentlig förhandsversion
Den här förbättringen för att stödja användartilldelade hanterade identiteter i Anslutningar ger ett betydande värde genom att erbjuda en säkrare och flexiblare autentiseringsmetod för åtkomst till dataresurser. Det undviker hårdkodning av autentiseringsuppgifter, förenklar hanteringen genom att eliminera behovet av att rotera hemligheter, säkerställa efterlevnad av säkerhetsprinciper, integreras sömlöst med Azure-tjänster och stöder skalbarhet i anslutningar genom att tillåta flera instanser att dela samma identitet.
Levererade funktioner
Azure Data Factory i Infrastrukturresurser
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Ta med din befintliga Azure Data Factory (ADF) till din Infrastruktur-arbetsyta! Det här är en ny förhandsgranskningsfunktion som gör att du kan ansluta till dina befintliga ADF-fabriker från din Fabric-arbetsyta.
Nu kommer du att kunna hantera dina ADF-fabriker helt direkt från användargränssnittet för infrastrukturarbetsytan! När din ADF är länkad till din Infrastruktur-arbetsyta kan du utlösa, köra och övervaka dina pipelines som du gör i ADF men direkt i Fabric.
Stöd för att anropa datapipelines för flera arbetsytor
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Anropa pipelines-aktivitetsuppdatering: Vi aktiverar några nya och spännande uppdateringar av aktiviteten Anropa pipeline. Som svar på överväldigande kund- och communityförfrågningar aktiverar vi datapipelines som körs på arbetsytor. Nu kan du anropa pipelines från andra arbetsytor som du har åtkomst till att köra. Detta möjliggör mycket spännande dataarbetsflödesmönster som kan använda samarbete från dina datateknik- och integreringsteam på arbetsytor och mellan funktionella team.
Stöd för lokal datagateway (OPDG) har lagts till i datapipelines
Levererad (Q3 2024)
Versionstyp: Allmän tillgänglighet
Med den här funktionen kan datapipelines använda Infrastrukturdatagatewayer för att komma åt data som finns lokalt och bakom ett virtuellt nätverk. För användare som använder lokalt installerad integrationskörning (SHIR) kan de gå över till lokala datagatewayer i Infrastrukturresurser.
Kopiera jobb
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Kopieringsjobbet förenklar upplevelsen för kunder som behöver mata in data utan att behöva skapa ett dataflöde eller en datapipeline. Kopieringsjobbet stöder fullständig och inkrementell kopiering från alla datakällor till alla datamål. Registrera dig för privat förhandsversion nu.
Spegling för Snowflake
Levererad (Q3 2024)
Versionstyp: Allmän tillgänglighet
Spegling ger en sömlös no-ETL-upplevelse för att integrera dina befintliga Snowflake-data med resten av dina data i Microsoft Fabric. Du kan kontinuerligt replikera dina Snowflake-data direkt till Fabric OneLake nästan i realtid, utan att påverka prestandan för dina transaktionsarbetsbelastningar.
Förbättrade e-postaviseringar för uppdateringsfel
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Med e-postaviseringar kan Dataflow Gen2-skapare övervaka resultatet (lyckade/misslyckade) av ett dataflödes uppdateringsåtgärd.
Stöd för snabbkopiering i Dataflow Gen2
Levererad (Q3 2024)
Versionstyp: Allmän tillgänglighet
Vi lägger till stöd för storskalig datainmatning direkt i Dataflow Gen2-upplevelsen, med hjälp av funktionen kopieringsaktivitet för pipelines. Den här förbättringen skalar avsevärt upp databehandlingskapaciteten för Dataflow Gen2 och tillhandahåller storskaliga ELT-funktioner (Extract-Load-Transform).
Stöd för inkrementell uppdatering i Dataflow Gen2
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för inkrementell uppdatering i Dataflow Gen2. Med den här funktionen kan du extrahera data inkrementellt från datakällor, använda Power Query-transformeringar och läsa in dem i olika utdatamål.
Identitetshantering för datakälla (hanterad identitet)
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
På så sätt kan hanterad identitet konfigureras på arbetsytenivå. Du kan använda infrastrukturhanterade identiteter för att ansluta till datakällan på ett säkert sätt.
Stöd för datapipelines för Azure Databricks-jobb
Levererad (Q3 2024)
Versionstyp: Offentlig förhandsversion
Vi uppdaterar Data Factory-datapipelines Azure Databricks-aktiviteter för att nu använda det senaste jobb-API:et som möjliggör spännande arbetsflödesfunktioner som att köra DLT-jobb.
Copilot för Data Factory (Dataflöde)
Levererad (Q3 2024)
Versionstyp: Allmän tillgänglighet
Copilot för Data Factory (Dataflow) ger kunderna möjlighet att uttrycka sina krav med naturligt språk när de skapar dataintegreringslösningar med Dataflows Gen2.
Stöd för datapipeline för SparkJobDefinition
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
Nu kan du köra Spark-koden, inklusive JAR-filer, direkt från en pipelineaktivitet. Peka bara på Din Spark-kod så kör pipelinen jobbet på ditt Spark-kluster i Fabric. Den här nya aktiviteten möjliggör spännande dataarbetsflödesmönster som utnyttjar kraften i Fabrics Spark-motor samtidigt som datafabrikens kontrollflöde och dataflödesfunktioner ingår i samma pipeline som dina Spark-jobb.
Stöd för datapipelines för händelsedrivna utlösare
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Ett vanligt användningsfall för att anropa Data Factory-datapipelines är att utlösa pipelinen vid filhändelser som fil ankomst och filborttagning. För kunder som kommer från ADF eller Synapse till Fabric är det mycket vanligt att använda ADLS/Blog Storage-händelser som ett sätt att antingen signalera för en ny pipelinekörning eller att avbilda namnen på de filer som skapats. Utlösare i Fabric Data Factory utnyttjar Infrastrukturplattformsfunktioner, inklusive EventStreams- och Reflex-utlösare. I pipelinedesignarbetsytan för Fabric Data Factory har du en utlösare som du kan trycka på för att skapa en Reflex-utlösare för din pipeline eller så kan du skapa utlösaren direkt från dataaktiveringsfunktionen.
Mellanlagringsstandard för Dataflöde Gen 2-utdatamål
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Dataflöde Gen2 innehåller funktioner för att mata in data från en mängd olika datakällor till Fabric OneLake. När du mellanlagrar dessa data kan de omvandlas i hög skala med hjälp av Gen2-motorn för storskaliga dataflöden (baserat på Fabric Lakehouse/Warehouse SQL-beräkning).
Standardbeteendet för Dataflows Gen2 är att mellanlagra data i OneLake för att aktivera storskaliga datatransformeringar. Även om detta fungerar bra för storskaliga scenarier fungerar det inte lika bra för scenarier som involverar små mängder data som matas in eftersom det introducerar ett extra hopp (mellanlagring) för data innan det slutligen läses in i dataflödesutdatamålet.
Med de planerade förbättringarna finjusterar vi standardbeteendet för mellanlagring som ska inaktiveras för frågor med ett utdatamål som inte kräver mellanlagring (nämligen Fabric Lakehouse och Azure SQL Database).
Mellanlagringsbeteende kan konfigureras manuellt per fråga via fönstret Frågeinställningar eller frågekontextmenyn i fönstret Frågor.
Stöd för datapipelines för Azure HDInsight
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
HDInsight är Azure PaaS-tjänsten för Hadoop som gör det möjligt för utvecklare att skapa mycket kraftfulla stordatalösningar i molnet. Den nya HDI-pipelineaktiviteten aktiverar HDInsights-jobbaktiviteter i dina Data Factory-datapipelines som liknar den befintliga funcationality som du har gjort i flera år i ADF- och Synapse-pipelines. Vi har nu tagit den här funktionen direkt till Infrastrukturdatapipelines.
Nya anslutningsappar för kopieringsaktivitet
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Nya anslutningsappar kommer att läggas till för aktiviteten Kopiera för att ge kunden möjlighet att mata in från följande källor, samtidigt som datapipelinen används: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX och Google BigQuery.
Apache Airflow-jobb: Skapa datapipelines som drivs av Apache Airflow
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Apache Airflow-jobbet (tidigare kallat Dataarbetsflöden) drivs av Apache Airflow och erbjuder en integrerad Apache Airflow-körningsmiljö som gör att du enkelt kan skapa, köra och schemalägga Python-DAG:er.
Datakällans identitetshantering (SPN)
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
Tjänstens huvudnamn – För att få åtkomst till resurser som skyddas av en Azure AD-klientorganisation måste entiteten som kräver åtkomst representeras av ett säkerhetsobjekt. Du kommer att kunna ansluta till dina datakällor med tjänstens huvudnamn.
Data Factory Git-integrering för datapipelines
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Du kan ansluta till din Git-lagringsplats för att utveckla datapipelines på ett samarbetsinriktat sätt. Integreringen av datapipelines med Fabric-plattformens alm-funktion (Application Lifecycle Management) möjliggör versionskontroll, förgrening, incheckningar och pull-begäranden.
Förbättringar av utdatamål i Dataflow Gen2 (frågeschema)
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Vi förbättrar utdatadestinationerna i Dataflow Gen2 med följande funktioner med hög begäran:
- Möjlighet att hantera ändringar i frågeschemat när du har konfigurerat ett utdatamål.
- Standardmålinställningar för att påskynda skapandet av dataflöden.
Mer information finns i Dataflöde Gen2-datamål och hanterade inställningar
Hämta förbättringar av dataupplevelsen (Bläddra bland Azure-resurser)
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Genom att bläddra bland Azure-resurser får du sömlös navigering för att bläddra bland Azure-resurser. Du kan enkelt navigera i dina Azure-prenumerationer och ansluta till dina datakällor via ett intuitivt användargränssnitt. Det hjälper dig att snabbt hitta och ansluta till de data du behöver.
Stöd för lokal datagateway (OPDG) har lagts till i datapipelines
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Med den här funktionen kan datapipelines använda Infrastrukturdatagatewayer för att komma åt data som finns lokalt och bakom ett virtuellt nätverk. För användare som använder lokalt installerad integrationskörning (SHIR) kan de gå över till lokala datagatewayer i Infrastrukturresurser.
Stöd för snabbkopiering i Dataflow Gen2
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för storskalig datainmatning direkt i Dataflow Gen2-upplevelsen, med hjälp av funktionen kopieringsaktivitet för pipelines. Detta stöder källor som Azure SQL Databases, CSV och Parquet-filer i Azure Data Lake Storage och Blob Storage.
Den här förbättringen skalar avsevärt upp databehandlingskapaciteten för Dataflow Gen2 och tillhandahåller storskaliga ELT-funktioner (Extract-Load-Transform).
Avbryt uppdateringsstöd i Dataflow Gen2
Levererad (Q4 2023)
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för att avbryta pågående Dataflow Gen2-uppdateringar från arbetsytans objektvy.