Wat is de kopieertaak (preview) in Data Factory voor Microsoft Fabric
Data Factory in Fabric biedt gebruikers de mogelijkheid om gegevens van meer dan 100 ingebouwde connectors , zowel bronnen als bestemmingen, naadloos te integreren via een visueel intuïtieve interface. Het Copy-activiteit, werken binnen gegevenspijplijnen, vereenvoudigt gegevensopname. Ondertussen ondersteunt Dataflow Gen2 gegevenstransformaties en pijplijnen de integratiestroom.
Voordelen van de kopieertaak
Hoewel de Copy-activiteit in gegevenspijplijnen gegevensopname afhandelt met bulk-/batchbewerkingen, is het maken van gegevenspijplijnen in Data Factory nog steeds lastig voor veel gebruikers die nieuw zijn in het veld, met een steilere leercurve. We zijn dus blij om de kopieertaak te introduceren en de ervaring voor gegevensopname te verhogen naar een gestroomlijnder en gebruiksvriendelijk proces van elke bron naar elke bestemming. Het kopiëren van uw gegevens is nu eenvoudiger dan ooit tevoren. Bovendien ondersteunt de kopieertaak verschillende stijlen voor het leveren van gegevens, waaronder zowel batchkopie als incrementele kopie, die flexibiliteit bieden om aan uw specifieke behoeften te voldoen.
Enkele voordelen van de kopieertaak ten opzichte van andere methoden voor gegevensverplaatsing zijn:
- Intuïtieve ervaring: ervaar naadloze gegevens kopiëren zonder compromissen, waardoor het eenvoudiger is dan ooit.
- Efficiëntie: schakel incrementeel kopiëren moeiteloos in, waardoor handmatige interventie wordt verminderd. Deze efficiëntie wordt omgezet in minder resourcegebruik en snellere kopieerduur.
- Flexibiliteit: Terwijl u geniet van de eenvoud, hebt u ook de flexibiliteit om uw gegevensverplaatsing te beheren. Kies welke tabellen en kolommen u wilt kopiëren, de gegevens wilt toewijzen, lees-/schrijfgedrag wilt definiëren en stel planningen in die aan uw behoeften voldoen, ongeacht of het gaat om een eenmalige taak of terugkerende bewerking.
- Robuuste prestaties: een serverloze installatie die gegevensoverdracht mogelijk maakt met grootschalige parallelle uitvoering, waardoor de doorvoer van gegevensverplaatsing voor uw systeem wordt gemaximaliseerd.
Ondersteunde connectors
Op dit moment kunt u de kopieertaak gebruiken voor cloudgegevensoverdracht of het kopiëren van gegevens uit een on-premises gegevensarchief via gateway. De kopieertaak ondersteunt de volgende gegevensarchieven als bron en doel:
- Azure SQL Database
- On-premises SQL Server
- Infrastructuurwarehouse
- Fabric Lakehouse
- Amazon S3
- Azure Data Lake Storage Gen2
- Azure Blob Storage
- Amazon RDS voor SQL Server
Het productteam verkent verdere ondersteuning voor connectors, dus blijf op de hoogte van updates.
Gedrag kopiëren
U kunt kiezen uit de volgende stijlen voor gegevenslevering.
- Volledige kopieermodus: elke kopieertaak kopieert alle gegevens van de bron naar de bestemming tegelijk.
- Incrementele kopieermodus: de eerste taakuitvoering kopieert alle gegevens en de volgende taak voert alleen wijzigingen uit sinds de laatste uitvoering. De gewijzigde gegevens worden toegevoegd aan uw doelarchief.
U kunt ook kiezen hoe gegevens naar uw doelarchief worden geschreven.
Standaard voegt Kopieertaak gegevens toe aan uw bestemming, zodat u geen wijzigingsgeschiedenis mist. U kunt echter ook het schrijfgedrag aanpassen aan upsert of overschrijven.
- Wanneer u gegevens kopieert naar het opslagarchief: nieuwe rijen uit de tabellen of bestanden worden gekopieerd naar nieuwe bestanden in de bestemming. Als er al een bestand met dezelfde naam in het doelarchief bestaat, wordt het overschreven.
- Wanneer u gegevens naar de database kopieert: nieuwe rijen uit de tabellen of bestanden worden toegevoegd aan doeltabellen. U kunt het schrijfgedrag wijzigen in upsert (op SQL DB of SQL Server) of overschrijven (op Fabric Lakehouse-tabellen).
Incrementele kolom
In de incrementele kopieermodus moet u een incrementele kolom voor elke tabel selecteren om wijzigingen te identificeren. Kopieertaak gebruikt deze kolom als watermerk, waarbij de waarde ervan wordt vergeleken met dezelfde waarde van de laatste uitvoering om de nieuwe of bijgewerkte gegevens alleen te kopiëren. De incrementele kolom moet een tijdstempel of een toenemende INT zijn.
Regionale beschikbaarheid
De kopieertaak heeft dezelfde regionale beschikbaarheid als de pijplijn.
Prijzen
De kopieertaak maakt gebruik van dezelfde factureringsmeter: Gegevensverplaatsing, met een identiek verbruikstarief.