Co to jest zadanie kopiowania (wersja zapoznawcza) w usłudze Data Factory dla usługi Microsoft Fabric
Usługa Data Factory w sieci szkieletowej umożliwia użytkownikom bezproblemową integrację danych z ponad 100 wbudowanych łączników — zarówno źródeł, jak i miejsc docelowych — za pomocą wizualnie intuicyjnego interfejsu. Działanie Kopiuj, pracując w potokach danych, ułatwia pozyskiwanie danych. Tymczasem przepływ danych Gen2 obsługuje przekształcenia danych, a potoki organizuje przepływ integracji.
Zalety zadania kopiowania
Chociaż działanie Kopiuj w potokach danych obsługuje pozyskiwanie danych za pomocą operacji zbiorczych/wsadowych, tworzenie potoków danych w usłudze Data Factory nadal okazuje się trudne dla wielu użytkowników, którzy są nowi w terenie, z bardziej stromą krzywą uczenia. Dlatego zachwyciliśmy się wprowadzeniem zadania kopiowania, podnosząc środowisko pozyskiwania danych do bardziej usprawnionego i przyjaznego dla użytkownika procesu z dowolnego źródła do dowolnego miejsca docelowego. Teraz kopiowanie danych jest łatwiejsze niż kiedykolwiek wcześniej. Ponadto zadanie kopiowania obsługuje różne style dostarczania danych, w tym kopiowanie wsadowe i kopiowanie przyrostowe, co zapewnia elastyczność w celu spełnienia określonych potrzeb.
Niektóre zalety zadania kopiowania nad innymi metodami przenoszenia danych obejmują:
- Intuicyjne środowisko: korzystaj z bezproblemowego kopiowania danych bez żadnych kompromisów, co ułatwia niż kiedykolwiek.
- Efektywność: bezproblemowo włączaj kopiowanie przyrostowe, zmniejszając interwencję ręczną. Ta wydajność przekłada się na mniejsze wykorzystanie zasobów i krótszy czas trwania kopiowania.
- Elastyczność: Choć cieszysz się prostotą, masz również elastyczność kontrolowania przenoszenia danych. Wybierz tabele i kolumny do skopiowania, zamapuj dane, zdefiniuj zachowanie odczytu/zapisu i ustaw harmonogramy, które odpowiadają Twoim potrzebom, zarówno dla jednorazowego zadania, jak i operacji cyklicznej.
- Niezawodna wydajność: Konfiguracja bezserwerowa umożliwiająca transfer danych z równoległością na dużą skalę, maksymalizowanie przepływności przenoszenia danych dla systemu.
Obsługiwane łączniki
Obecnie można użyć zadania kopiowania na potrzeby transferu danych w chmurze lub kopiowania danych z lokalnego magazynu danych za pośrednictwem bramy. Zadanie kopiowania obsługuje następujące magazyny danych jako źródło i miejsce docelowe:
- Azure SQL DB
- Lokalny program SQL Server
- Magazyn sieci szkieletowej
- Sieć szkieletowa Lakehouse
- Amazon S3
- Usługa Azure Data Lake Storage 2. generacji
- Azure Blob Storage
- Amazon RDS dla programu SQL Server
Zespół produktu bada dalszą pomoc techniczną łącznika, więc bądź na bieżąco z aktualizacjami.
Zachowanie dotyczące kopiowania
Możesz wybrać spośród następujących stylów dostarczania danych.
- Tryb kopiowania pełnego: każde uruchomienie zadania kopiowania kopiuje wszystkie dane ze źródła do miejsca docelowego jednocześnie.
- Tryb kopiowania przyrostowego: początkowe uruchomienie zadania kopiuje wszystkie dane, a kolejne zadanie uruchamia tylko zmiany od ostatniego uruchomienia. Zmienione dane są dołączane do magazynu docelowego.
Możesz również wybrać sposób zapisywania danych w magazynie docelowym.
Domyślnie zadanie kopiowania dołącza dane do miejsca docelowego, aby nie przegapić żadnej historii zmian. Można jednak również dostosować zachowanie zapisu do operacji upsert lub overwrite.
- Podczas kopiowania danych do magazynu: nowe wiersze z tabel lub plików są kopiowane do nowych plików w miejscu docelowym. Jeśli plik o tej samej nazwie już istnieje w magazynie docelowym, zostanie zastąpiony.
- Podczas kopiowania danych do bazy danych: nowe wiersze z tabel lub plików są dołączane do tabel docelowych. Zachowanie zapisu można zmienić na upsert (w bazie danych SQL lub programie SQL Server) lub zastąpić (w tabelach usługi Fabric Lakehouse).
Kolumna przyrostowa
W trybie kopiowania przyrostowego należy wybrać kolumnę przyrostową dla każdej tabeli, aby zidentyfikować zmiany. Zadanie kopiowania używa tej kolumny jako znaku wodnego, porównując jego wartość z tego samego ostatniego uruchomienia, aby skopiować tylko nowe lub zaktualizowane dane. Kolumna przyrostowa musi być sygnaturą czasową lub rosnącą wartością INT.
Dostępność w regionach
Zadanie kopiowania ma taką samą dostępność regionalną jak potok.
Cennik
Zadanie kopiowania używa tego samego miernika rozliczeniowego: Przenoszenie danych z identycznym współczynnikiem zużycia.