Konfigurowanie protokołu SFTP w działaniu kopiowania

W tym artykule opisano, jak używać aktywności kopiowania w potoku danych do kopiowania danych z SFTP.

Obsługiwany format

Protokół SFTP obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

• format Avro
• format binarny
• format tekstowy z ogranicznikami
• format programu Excel
• format JSON
• ORC format
• format Parquet
• format XML

Obsługiwana konfiguracja

W przypadku konfiguracji każdej zakładki podczas czynności kopiowania przejdź odpowiednio do poniższych sekcji.

• Ogólne
• źródło
• docelowa
• Mapowanie
• Ustawienia

Ogólne

Zapoznaj się z wskazówkami dotyczącymi Ustawień ogólnych, aby skonfigurować zakładkę Ustawienia ogólne.

Źródło

Przejdź do karty Źródło, aby skonfigurować źródło działania kopiowania. Zobacz następującą zawartość, aby uzyskać szczegółową konfigurację.

Następujące trzy właściwości są wymagane:

• Typ magazynu danych: wybierz opcję Zewnętrzny.

• połączenie: wybierz połączenie SFTP z listy połączeń. Jeśli nie istnieje żadne połączenie, utwórz nowe połączenie SFTP, wybierając pozycję Nowy.

• typ ścieżki pliku: wybierz ścieżkę pliku , ścieżkę pliku wieloznacznych i listę plików na podstawie sposobu odczytywania plików.

  • ścieżka pliku: jeśli wybierzesz ten typ, określ ścieżkę pliku źródłowego. Możesz wybrać pozycję Przeglądaj, aby wybrać pliki źródłowe lub ręcznie wprowadzić ścieżkę pliku.

  • Dzikiej ścieżki pliku: Jeśli wybierzesz ten typ, określ ścieżki wieloznaczne , aby filtrować foldery źródłowe lub pliki.

    Dopuszczalne symbole wieloznaczne to * (dopasowują zero lub więcej znaków) i ? (dopasowują zero lub pojedynczy znak). Użyj ^, aby uniknąć, jeśli nazwa folderu ma symbol wieloznaczny lub znak ucieczki wewnątrz. Aby uzyskać więcej przykładów, przejdź do Przykładów filtrów folderów i plików.

    

    Ścieżka folderu z symbolami wieloznacznymi: Podaj ścieżkę folderu z symbolami wieloznacznymi, aby filtrować foldery źródłowe.

    nazwa pliku z symbolem wieloznacznym: określ nazwę pliku z użyciem symboli wieloznacznych w podanej ścieżce folderu lub ścieżce folderu z symbolami wieloznacznymi, aby filtrować pliki źródłowe.

  • Lista plików: W przypadku wybrania tego typu określ ścieżkę folderu i ścieżkę do listy plików, co wskazuje na skopiowanie danego zestawu plików. Wskaż plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz. Aby uzyskać więcej przykładów, przejdź do lista przykładów plików.

    • ścieżka folderu: określ ścieżkę do folderu źródłowego. Jest to wymagane.
      

    • ścieżka do listy plików: określ ścieżkę pliku tekstowego zawierającego listę plików, które chcesz skopiować.

      

• format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz pozycję Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje na temat ustawień różnych formatów plików, zapoznaj się z artykułami w Obsługiwane formaty.

W obszarze Advancedmożna określić następujące pola:

• Filtruj według ostatniej modyfikacji: Pliki są filtrowane na podstawie dat ostatniej modyfikacji, które zostały określone. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Lista plików.

  • godzina rozpoczęcia (UTC): pliki są wybierane, jeśli ich czas ostatniej modyfikacji jest dłuższy lub równy skonfigurowanemu czasowi.
  • godzina zakończenia (UTC): pliki są wybierane, jeśli czas ostatniej modyfikacji jest krótszy niż skonfigurowany czas.

  Jeśli godzina rozpoczęcia (UTC) ma wartość daty/godziny, ale godzina zakończenia (UTC) ma wartość NULL, oznacza to, że pliki, których data ostatniej modyfikacji jest większa lub równa wartości daty/godziny, są zaznaczone. Jeśli godzina zakończenia (UTC) ma wartość daty/godziny, ale godzina rozpoczęcia (UTC) ma wartość NULL, oznacza to, że zaznaczone są pliki, których ostatni zmodyfikowany atrybut jest mniejszy niż ta wartość daty/godziny. Właściwości mogą mieć wartość NULL, co oznacza, że do danych nie zastosowano filtru atrybutu pliku.

• Wyłącz fragmentowanie: fragmentowanie zostało zaprojektowane tak, aby zoptymalizować wydajność i odbywa się poniżej. Ta opcja umożliwia wyłączenie fragmentowania w każdym pliku. Podczas kopiowania danych z SFTP usługa próbuje najpierw uzyskać długość pliku, a następnie podzielić plik na wiele części i odczytać je równolegle. Określ, czy serwer SFTP obsługuje uzyskiwanie długości pliku lub odczyt z określonego przesunięcia. Domyślnie jest on niezaznaczony.

• Włącz odnajdywanie partycji: określ, czy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. Jest on domyślnie niezaznaczony i nie jest obsługiwany w przypadku korzystania z formatu pliku binarnego.

  • ścieżka główna partycji: po włączeniu odnajdywania partycji określ bezwzględną ścieżkę katalogu głównego, aby odczytywać foldery podzielone na partycje jako kolumny danych.
    Jeśli nie jest to określone, domyślnie zostanie zastosowane,

    • Jeśli używasz ścieżki pliku lub listy plików w źródle, ścieżka główna partycji jest ścieżką skonfigurowaną.
    • W przypadku używania filtru folderu ze znakami wieloznacznymi, ścieżka główna partycji jest częścią ścieżki przed pierwszym symbolem wieloznacznym.

    Na przykład przy założeniu, że ścieżka jest skonfigurowana jako root/folder/year=2020/month=08/day=27:

    • Jeśli określisz ścieżkę główną partycji jako root/folder/year=2020, działanie kopiowania generuje dwa kolejne kolumny miesiąc i dzień z wartością "08" i "27" odpowiednio, oprócz kolumn wewnątrz plików.
    • Jeśli ścieżka główna partycji nie zostanie określona, nie zostanie wygenerowana żadna dodatkowa kolumna.

    

• Maksymalna liczba współbieżnych połączeń: ta właściwość wskazuje górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

• dodatkowe kolumny: Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane dla tego ostatniego przypadku. Aby uzyskać więcej informacji, odwiedź stronę Dodawanie dodatkowych kolumn podczas kopiowania.

Cel

Przejdź do zakładki Cel, aby skonfigurować miejsce docelowe działania kopiowania. Zobacz następującą zawartość, aby uzyskać szczegółową konfigurację.

• Typ magazynu danych: wybierz External.
• połączenie: wybierz połączenie SFTP z listy połączeń. Jeśli nie istnieje żadne połączenie, utwórz nowe połączenie SFTP, wybierając pozycję Nowy.
• ścieżka pliku: określ ścieżkę pliku do zapisania danych. Możesz wybrać opcję Przeglądaj, aby wybrać pliki źródłowe lub ręcznie wprowadzić ścieżkę pliku.
• format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz pozycję Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje na temat ustawień różnych formatów plików, zapoznaj się z artykułami w Obsługiwane formaty.

W obszarze Advancedmożna określić następujące pola:

• Zachowanie kopiowania: Określ zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. Wybierz jedną z następujących właściwości.

  • Spłaszczenie hierarchii: Wszystkie pliki z folderu źródłowego znajdują się na pierwszym poziomie folderu docelowego. Pliki docelowe mają automatycznie wygenerowane nazwy.
  • Scalanie plików: scala wszystkie pliki z folderu źródłowego do pojedynczego pliku. Jeśli określono nazwę pliku, nazwa scalonego pliku jest określoną nazwą. W przeciwnym razie jest to automatycznie wygenerowana nazwa pliku.
  • Zachowaj hierarchię (domyślną): zachowuje hierarchię plików w folderze docelowym. Ścieżka względna pliku źródłowego do folderu źródłowego jest identyczna ze ścieżką względną pliku docelowego do folderu docelowego.
  • Dodaj zawartość dynamiczną: wybierz tę opcję, aby określić zachowanie kopiowania przy użyciu zawartości dynamicznej.

• Maksymalna liczba współbieżnych połączeń: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

• limit czasu operacji (w minutach): określ limit czasu zapisu każdego fragmentu na serwerze SFTP. Wartość domyślna to 60 minut.

• Przekaż z plikiem tymczasowym: określ, czy przekazać je do plików tymczasowych i zmienić ich nazwę, czy bezpośrednio zapisać w folderze docelowym lub lokalizacji pliku. Domyślnie jest zaznaczona, a usługa najpierw zapisuje dane w plikach tymczasowych, a następnie zmienia ich nazwę po zakończeniu przekazywania.

  Ta sekwencja pomaga (1) uniknąć konfliktów, które mogą spowodować uszkodzenie pliku, jeśli inne procesy zapisują się w tym samym pliku, i (2) upewnij się, że oryginalna wersja pliku istnieje podczas transferu. Jeśli serwer SFTP nie obsługuje operacji zmiany nazwy, wyłącz tę opcję i upewnij się, że nie masz współbieżnego zapisu do pliku docelowego.

  Wskazówka

  Jeśli wystąpi błąd "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" lub "SftpOperationFail" podczas zapisywania danych na serwerze SFTP, a używany użytkownik SFTP ma odpowiednie uprawnienia, sprawdź, czy obsługa operacji zmiany nazw plików jest włączona na twoim serwerze SFTP. Jeśli tak nie jest, wyłącz opcję Przekaż przy użyciu pliku tymczasowego i spróbuj ponownie.

Mapowanie

Aby uzyskać konfigurację karty mapowania, zobacz Konfigurowanie mapowań na karcie mapowania. Jeśli wybierzesz format pliku jako binarny, mapowanie nie będzie obsługiwane.

Ustawienia

Aby skonfigurować kartę Ustawienia, przejdź do Konfigurowania innych opcji w karcie ustawień.

Podsumowanie tabeli

Poniższa tabela zawiera więcej informacji na temat działania kopiowania w sfTP.

Źródło

Nazwa	Opis	Wartość	Wymagane	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	zewnętrzna	Tak	/
Połączenie	Połączenie SFTP ze źródłowym magazynem danych.	< twojego połączenia SFTP >	Tak	połączenie
typ ścieżki pliku	Typ ścieżki pliku używany do pobierania danych źródłowych.	• ścieżka pliku • Ścieżka pliku z symbolami wieloznacznymi • Lista plików	Tak	/
ścieżka pliku	Ścieżka do pliku źródłowego.	< ścieżki pliku>	Tak	nazwaPliku folderPath
ścieżki wieloznaczne	Ścieżka wieloznaczników do pliku źródłowego.	< ścieżka pliku symbolu wieloznacznego >	Tak dla nazwy pliku wieloznacznej	ścieżkaFolderuZSymbolamiDowolnymi symbol wieloznacznyFileName
ścieżka folderu	Ścieżka do folderu źródłowego.	< ścieżka do twojego folderu>	Tak	folderPath
ścieżka do listy plików	Wskazuje, aby skopiować dany zestaw plików. Wskaż plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz.	< ścieżka listy plików >	Nie	fileListPath
format pliku	Format pliku dla danych źródłowych. Aby uzyskać szczegółowe informacje na temat różnych formatów plików, zapoznaj się z artykułami w Obsługiwany format.	/	Tak	/
Filtruj według ostatniej modyfikacji	Pliki o ostatniej modyfikacji w zakresie [Godzina rozpoczęcia, Godzina zakończenia) są filtrowane w celu dalszego przetwarzania. Czas jest dostosowany do strefy czasowej UTC w formacie yyyy-mm-ddThh:mm:ss.fffZ. Te właściwości można pominąć, co oznacza, że nie zastosowano filtru atrybutu pliku. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików.	znacznik czasu	Nie	modifiedDatetimeStart zmodyfikowanyKoniecCzasu
Wyłącz dzielenie na kawałki	Fragmentowanie zostało zaprojektowane tak, aby zoptymalizować wydajność i zachodzi w tle. Ta opcja umożliwia wyłączenie fragmentowania w każdym pliku. Podczas kopiowania danych z SFTP usługa próbuje najpierw uzyskać długość pliku, a następnie podzielić plik na wiele części i odczytać je równolegle. Określ, czy serwer SFTP obsługuje pobieranie długości pliku lub możliwość odczytu z określonego przesunięcia.	wybrane lub niezaznaczone (ustawienie domyślne)	Nie	disableChunking: true lub false (wartość domyślna)
Włączanie odnajdywania partycji	Wskazuje, czy należy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe.	wybrane lub niezaznaczone (ustawienie domyślne)	Nie	enablePartitionDiscovery: true lub false (wartość domyślna)
ścieżka główna partycji	Bezwzględna ścieżka główna partycji do odczytu folderów partycjonowanych jako kolumn danych. Określ je po włączeniu odnajdywania partycji.	ścieżka główna partycji <>	Nie	partitionRootPath
maksymalna liczba współbieżnych połączeń	Górny limit współbieżnych połączeń z magazynem danych ustanowionych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	< górny limit połączeń współbieżnych > (liczba całkowita)	Nie	maksymalna liczba jednoczesnych połączeń
dodatkowe kolumny	Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tej ostatniej opcji. Aby uzyskać więcej informacji, przejdź do Dodawanie dodatkowych kolumn podczas kopiowania	•Nazwa •Wartość	Nie	dodatkoweKolumny: •nazwa •wartość

Cel

Nazwa	Opis	Wartość	Wymagane	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	Zewnętrzny	Tak	/
połączenie	Twoje połączenie ze źródłem SFTP.	< twoje połączenie >	Tak	połączenie
ścieżka pliku	Ścieżka pliku danych docelowych.	Ścieżka pliku docelowego	Tak	folderPath nazwa pliku
format pliku	Format pliku dla danych źródłowych. Aby uzyskać szczegółowe informacje na temat różnych formatów plików, zapoznaj się z artykułami w Obsługiwany format.	/	Tak	/
Zasady kopiowania	Definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach.	• Spłaszczyć hierarchię Scalanie plików • Zachowaj hierarchię	Nie	copyBehavior: - FlattenHierarchy - MergeFiles - ZachowajHierarchię
maksymalna liczba współbieżnych połączeń	Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	< maksymalna liczba jednoczesnych połączeń >	Nie	maksymalnePołączeniaRównoczesne
limit czasu operacji (w minutach)	Limit czasu zapisu każdego fragmentu na serwerze SFTP.	< twój limit czasu operacji > Wartość domyślna to 60	Nie	operationTimeout
przesyłanie za pomocą pliku tymczasowego	Wskazuje, czy przekazywać pliki tymczasowe i zmieniać ich nazwy. Wyłącz tę opcję, jeśli serwer SFTP nie obsługuje operacji zmiany nazwy.	wybrane (domyślne) lub niezaznaczone	Nie	useTempFileRename: true (wartość domyślna) lub fałsz

Powiązana zawartość

• Omówienie łącznika SFTP