Przenoszenie plików za pomocą usługi Azure Data Factory

Artykuł
10/03/2024

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Działanie kopiowania usługi ADF ma wbudowaną obsługę scenariusza "przenoszenia" podczas kopiowania plików binarnych między magazynami magazynu. Sposobem włączenia tej opcji jest ustawienie wartości "deleteFilesAfterCompletion" jako true w działaniu kopiowania. W ten sposób działanie kopiowania spowoduje usunięcie plików z magazynu źródeł danych po zakończeniu zadania.

W tym artykule opisano szablon rozwiązania jako inne podejście wykorzystujące elastyczny przepływ sterowania usługi ADF oraz działanie kopiowania i usuwania w celu osiągnięcia tego samego scenariusza. Jeden z typowych scenariuszy użycia tego szablonu: pliki są stale usuwane do folderu końcowego magazynu źródłowego. Tworząc wyzwalacz harmonogramu, potok usługi ADF może okresowo przenosić te pliki ze źródła do magazynu docelowego. Sposób, w jaki potok usługi ADF osiąga "przenoszenie plików", jest pobieranie plików z folderu docelowego, kopiowanie każdego z nich do innego folderu w magazynie docelowym, a następnie usuwanie tych samych plików z folderu docelowego w magazynie źródłowym.

Uwaga

Należy pamiętać, że ten szablon jest przeznaczony do przenoszenia plików, a nie przenoszenia folderów. Jeśli chcesz przenieść folder, zmieniając zestaw danych tak, aby zawierał tylko ścieżkę folderu, a następnie używając działania kopiowania i usuwania, aby odwoływać się do tego samego zestawu danych reprezentującego folder, należy zachować ostrożność. Jest to spowodowane tym, że należy upewnić się, że nie będzie nowych plików przychodzących do folderu między operacją kopiowania a operacją usuwania. Jeśli w momencie, gdy działanie kopiowania właśnie zakończyło zadanie kopiowania, ale działanie Usuń nie zostało wyświetlone, możliwe, że działanie Usuń usunie ten nowy przychodzący plik, który nie został jeszcze skopiowany do miejsca docelowego, usuwając cały folder.

Informacje o tym szablonie rozwiązania

Ten szablon pobiera pliki ze źródłowego magazynu opartego na plikach. Następnie przenosi każdy z nich do magazynu docelowego.

Szablon zawiera pięć działań:

GetMetadata pobiera listę obiektów, w tym pliki i podfoldery z folderu w magazynie źródłowym. Nie będzie pobierać obiektów rekursywnie.
Filtruj listę obiektów z działania GetMetadata , aby wybrać tylko pliki.
Program ForEach pobiera listę plików z działania Filtr, a następnie wykonuje iterację po liście i przekazuje każdy plik do działania działanie Kopiuj i Usuń.
Kopiuje jeden plik ze źródła do magazynu docelowego.
Usunięcie powoduje usunięcie tego samego pliku z magazynu źródłowego.

Szablon definiuje cztery parametry:

SourceStore_Location to ścieżka folderu magazynu źródłowego, z którego chcesz przenieść pliki.
SourceStore_Directory to ścieżka podfolderu magazynu źródłowego, z którego chcesz przenieść pliki.
DestinationStore_Location to ścieżka folderu magazynu docelowego, do którego chcesz przenieść pliki.
DestinationStore_Directory to ścieżka podfolderu magazynu docelowego, do którego chcesz przenieść pliki.

Jak używać tego szablonu rozwiązania

Przejdź do szablonu Przenoszenie plików . Wybierz istniejące połączenie lub utwórz nowe połączenie ze źródłowym magazynem plików, z którego chcesz przenieść pliki. Należy pamiętać, że DataSource_Folder i DataSource_File odwołują się do tego samego połączenia źródłowego magazynu plików.
Wybierz istniejące połączenie lub utwórz nowe połączenie z docelowym magazynem plików, do którego chcesz przenieść pliki.
Wybierz pozycję Użyj tej karty szablonu .
Zobaczysz potok, jak w poniższym przykładzie:
Wybierz pozycję Debuguj, wprowadź parametry, a następnie wybierz pozycję Zakończ. Parametry to ścieżka folderu, do której chcesz przenieść pliki, oraz ścieżkę folderu, do której chcesz przenieść pliki.
Przejrzyj wyniki.