Co to jest zadanie kopiowania danych (podgląd) w usłudze Data Factory dla Microsoft Fabric
Usługa Data Factory w sieci szkieletowej umożliwia użytkownikom bezproblemową integrację danych z ponad 100 wbudowanych łączników — zarówno źródeł, jak i miejsc docelowych — za pomocą wizualnie intuicyjnego interfejsu. Działanie Kopiuj, pracując w potokach danych, ułatwia pozyskiwanie danych. Tymczasem Dataflow Gen2 obsługuje przekształcenia danych, a potoki orkiestrują przepływ integracji.
Zalety zadania kopiowania
Podczas gdy działanie kopiowania w potokach danych obsługuje pozyskiwanie danych za pomocą operacji zbiorczych/wsadowych, tworzenie potoków danych w usłudze Data Factory nadal stanowi wyzwanie dla wielu użytkowników, którzy są nowi w tej dziedzinie, z bardziej stromą krzywą nauki. Jesteśmy więc podekscytowani wprowadzeniem funkcji Copy Job, która przenosi proces pozyskiwania danych na bardziej usprawniony i przyjazny dla użytkownika, umożliwiając transfer danych z dowolnego źródła do dowolnego miejsca docelowego. Teraz kopiowanie danych jest łatwiejsze niż kiedykolwiek wcześniej. Ponadto zadanie kopiowania obsługuje różne style dostarczania danych, w tym kopiowanie wsadowe i kopiowanie przyrostowe, co zapewnia elastyczność w celu spełnienia określonych potrzeb.
Niektóre zalety zadania kopiowania nad innymi metodami przenoszenia danych obejmują:
- Intuicyjne doświadczenie: korzystaj z bezproblemowego kopiowania danych bez żadnych kompromisów, co jest łatwiejsze niż kiedykolwiek.
- Efektywność: bezproblemowo włączaj kopiowanie przyrostowe, zmniejszając interwencję ręczną. Ta wydajność przekłada się na mniejsze wykorzystanie zasobów i krótszy czas trwania kopiowania.
- Elastyczność: Choć cieszysz się prostotą, masz również elastyczność kontrolowania przenoszenia danych. Wybierz tabele i kolumny do skopiowania, zamapuj dane, zdefiniuj zachowanie odczytu/zapisu i ustaw harmonogramy, które odpowiadają Twoim potrzebom, zarówno dla jednorazowego zadania, jak i operacji cyklicznej.
- Niezawodna wydajność: Konfiguracja bezserwerowa umożliwiająca transfer danych z równoległością na dużą skalę, maksymalizowanie przepływności przenoszenia danych dla systemu.
Obsługiwane łączniki
Obecnie można użyć zadania kopiowania na potrzeby transferu danych w chmurze lub kopiowania danych z lokalnego magazynu danych za pośrednictwem bramy. Zadanie kopiowania obsługuje następujące magazyny danych jako źródło i miejsce docelowe:
- Azure SQL DB
- Oracle
- Lokalny program SQL Server
- Magazyn tkanin
- Sieć szkieletowa Lakehouse
- Amazon S3
- Usługa Azure Data Lake Storage 2. generacji
- Azure Blob Storage (magazyn danych obiektowych Azure)
- Zarządzane wystąpienie Azure SQL
- Płatek śniegu
- Azure Synapse Analytics
- Eksplorator danych Azure
- Azure PostgreSQL
- Google Cloud Storage
- MySQL
- Azure MySQL
Uwaga
- Niektóre łączniki nie obsługują jeszcze kopiowania przyrostowego, ale będą one dostępne wkrótce.
- Zespół produktu szybko bada możliwości zwiększenia wsparcia dla złączy, więc bądźcie na bieżąco z aktualizacjami.
Zachowanie dotyczące kopiowania
Możesz wybrać spośród następujących stylów dostarczania danych.
Tryb kopiowania pełnego: każde uruchomienie zadania kopiowania kopiuje wszystkie dane ze źródła do miejsca docelowego jednocześnie.
Tryb kopiowania przyrostowego: początkowe uruchomienie zadania kopiuje wszystkie dane, a kolejne uruchomienia zadania kopiują tylko zmiany od ostatniego uruchomienia. Zmienione dane są dołączane do magazynu docelowego.
Uwaga
Tryb kopiowania przyrostowego jest nadal dostępny w wersji zapoznawczej, ale wkrótce będzie ogólnie dostępny.
Możesz również wybrać sposób zapisywania danych w magazynie docelowym.
Domyślnie zadanie kopiowania dołącza dane do miejsca docelowego, aby nie przegapić żadnej historii zmian. Można jednak również dostosować metodę aktualizacji, aby scalić lub zastąpić. Podczas scalania należy podać kolumnę klucza. Domyślnie klucz podstawowy jest używany, jeśli istnieje.
- Podczas kopiowania danych do magazynu danych: nowe wiersze z tabel lub plików zostają skopiowane do nowych plików w miejscu docelowym. Jeśli plik o tej samej nazwie już istnieje w magazynie docelowym, zostanie zastąpiony.
- Podczas kopiowania danych do bazy danych: nowe wiersze z tabel lub plików są dołączane do tabel docelowych. Możesz zmienić metodę aktualizacji na łączenie (w bazie danych SQL lub SQL Server) lub nadpisywanie (w tabelach usługi Fabric Lakehouse).
Kolumna przyrostowa
W trybie kopiowania przyrostowego należy wybrać kolumnę przyrostową dla każdej tabeli, aby zidentyfikować zmiany. Zadanie kopiowania używa tej kolumny jako punktu odniesienia, porównując jej wartość z wartością z ostatniego uruchomienia, aby skopiować tylko nowe lub zaktualizowane dane. Kolumna przyrostowa musi być sygnaturą czasową lub rosnącą wartością INT.
Dostępność w regionach
Zadanie kopiowania ma taką samą dostępność regionalną jak przepływ pracy.
Cennik
Zadanie kopiowania używa tego samego miernika rozliczeniowego: Ruch danych, z identycznym współczynnikiem zużycia.