Udostępnij za pośrednictwem


Konfigurowanie rozwiązania Amazon S3 Zgodne w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potoku danych do kopiowania danych z rozwiązania Amazon S3 Compatible.

Wymagane uprawnienia

Aby skopiować dane z rozwiązania Amazon S3 Compatible, upewnij się, że udzielono następujących uprawnień do operacji obiektów zgodnych z usługą Amazon S3: s3:GetObject i s3:GetObjectVersion.

Ponadto i s3:ListBucket/s3:GetBucketLocation uprawnienia są wymagane w przypadku operacji, s3:ListAllMyBuckets takich jak testowanie połączenia i przeglądanie z katalogu głównego.

Aby uzyskać pełną listę uprawnień zgodnych z usługą Amazon S3, przejdź do tematu Określanie uprawnień w zasadach w witrynie platformy AWS.

Obsługiwany format

Aplikacja Amazon S3 Compatible obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

Obsługiwana konfiguracja

W przypadku konfiguracji każdej karty w działaniu kopiowania przejdź odpowiednio do poniższych sekcji.

Ogólne

Zapoznaj się ze wskazówkami dotyczącymi ustawień ogólnych, aby skonfigurować kartę Ustawienia ogólne.

Źródło

Następujące właściwości są obsługiwane dla usługi Amazon S3 Zgodne na karcie Źródło działania kopiowania.

Screenshot showing source tab and the list of properties.

Wymaganenastępujące właściwości:

  • Typ magazynu danych: wybierz pozycję Zewnętrzne.

  • Połączenie ion: wybierz połączenie zgodne z usługą Amazon S3 z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie zgodne z usługą Amazon S3, wybierając pozycję Nowy.

  • typ Połączenie ionu: wybierz pozycję Amazon S3 Zgodne z typem połączenia.

  • Typ ścieżki pliku: możesz wybrać ścieżkę pliku, prefiks, ścieżkę pliku z symbolem wieloznacznymi lub listę plików jako typ ścieżki pliku. Konfiguracja dla każdego ustawienia to:

    • Ścieżka pliku: jeśli wybierzesz ten typ, dane można skopiować z danego zasobnika lub określoną ścieżkę zasobnika i folderu.

    • Prefiks: w przypadku wybrania tego typu określ zasobnik i prefiks.

      • Zasobnik: określ nazwę zasobnika magazynu zgodnego z usługą S3. Jest to wymagane.

      • Prefiks: określ prefiks nazwy klucza magazynu zgodnego z usługą S3 w ramach danego zasobnika, aby filtrować źródłowe pliki magazynu zgodne ze standardem S3. Wybrano klucze magazynu zgodne ze standardem S3, których nazwy zaczynają się od bucket/this_prefix . Korzysta z filtru po stronie usługi zgodnego z usługą S3 Storage, który zapewnia lepszą wydajność niż filtr wieloznaczny.

        Jeśli używasz prefiksu i zdecydujesz się skopiować do miejsca docelowego opartego na plikach z zachowaniem hierarchii, zwróć uwagę, że ścieżka podrzędna po ostatnim "/" w prefiksie zostanie zachowana. Na przykład masz źródłowy bucket/folder/subfolder/file.txtprefiks i skonfiguruj prefiks jako folder/sub, a następnie zachowaną ścieżkę pliku to subfolder/file.txt.

      Screenshot showing prefix.

    • Ścieżka pliku z symbolami wieloznacznymi: w przypadku wybrania tego typu określ ścieżki zasobnika i symbol wieloznaczny.

      • Zasobnik: określ nazwę zasobnika magazynu zgodnego z usługą S3. Jest to wymagane.

      • Ścieżki z symbolami wieloznacznymi: określ folder lub ścieżkę pliku z symbolami wieloznacznymi w danym zasobniku, aby filtrować foldery źródłowe lub pliki.

        Dozwolone symbole wieloznaczne to: * (pasuje do zera lub większej liczby znaków) i ? (pasuje do zera lub pojedynczego znaku). Użyj ^ polecenia , aby uniknąć, jeśli nazwa folderu ma symbol wieloznaczny lub znak ucieczki wewnątrz. Zobacz więcej przykładów w przykładach filtru folderów i plików. Screenshot showing wildcard file path.Ścieżka folderu z symbolami wieloznacznymi: ścieżka folderu z symbolami wieloznacznymi w danym zasobniku do filtrowania folderów źródłowych.

        Nazwa pliku z symbolami wieloznacznymi: nazwa pliku z symbolami wieloznacznymi w ramach danego zasobnika i ścieżki folderu (lub ścieżki folderu z symbolami wieloznacznymi) do filtrowania plików źródłowych.

    • Lista plików: jeśli wybierzesz ten typ, określ ścieżkę folderu i ścieżkę do pliku, aby wskazać, aby skopiować dany zestaw plików. Wskaż plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz, który jest ścieżką względną do skonfigurowanej ścieżki. Aby uzyskać więcej przykładów, przejdź do pozycji Przykłady listy plików.

      Screenshot showing list of files.

      • Ścieżka folderu: określ ścieżkę do folderu w danym zasobniku. Jest to wymagane.
      • Ścieżka do listy plików: określ ścieżkę pliku tekstowego zawierającego listę plików, które chcesz skopiować.
  • Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

  • Rekursywnie: określ, czy dane są odczytywane rekursywnie z podfolderów, czy tylko z określonego folderu. Po wybraniu opcji Rekursywnie miejsce docelowe jest magazynem opartym na plikach, pusty folder lub podfolder nie jest kopiowany ani tworzony w miejscu docelowym. Ta właściwość jest domyślnie zaznaczona i nie ma zastosowania podczas konfigurowania ścieżki do listy plików.

W obszarze Zaawansowane można określić następujące pola:

  • Filtruj według ostatniej modyfikacji: pliki są filtrowane w oparciu o określone daty ostatniej modyfikacji. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików.

    • Godzina rozpoczęcia (UTC): pliki są wybierane, jeśli ich czas ostatniej modyfikacji jest większy lub równy skonfigurowanemu czasowi.
    • Godzina zakończenia (UTC): Pliki są wybierane, jeśli czas ostatniej modyfikacji jest krótszy niż skonfigurowany czas.

    Gdy godzina rozpoczęcia (UTC) ma wartość daty/godziny, ale godzina zakończenia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest większy niż lub równy wartości daty/godziny, zostaną wybrane. Jeśli godzina zakończenia (UTC) ma wartość daty/godziny, ale godzina rozpoczęcia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest mniejszy niż wartość daty/godziny, zostanie wybrana. Właściwości mogą mieć wartość NULL, co oznacza, że do danych nie zostanie zastosowany filtr atrybutu pliku.

  • Włącz odnajdywanie partycji: określ, czy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. Jest on domyślnie niezaznaczony i nie jest obsługiwany w przypadku korzystania z formatu pliku binarnego.

    • Ścieżka główna partycji: po włączeniu odnajdywania partycji określ bezwzględną ścieżkę główną, aby odczytywać podzielone na partycje foldery jako kolumny danych.

      Jeśli nie zostanie określony, domyślnie,

      • Jeśli używasz ścieżki pliku lub listy plików w źródle, ścieżka główna partycji jest ścieżką skonfigurowaną.
      • W przypadku używania filtru folderów wieloznacznych ścieżka główna partycji jest ścieżką podrzędną przed pierwszym symbolem wieloznacznymi.
      • W przypadku używania prefiksu ścieżka główna partycji jest ścieżką podrzędną przed ostatnim ciągiem "/".

      Na przykład przy założeniu, że ścieżka jest skonfigurowana jako root/folder/year=2020/month=08/day=27:

      • Jeśli określisz ścieżkę główną partycji jako root/folder/year=2020, działanie kopiowania wygeneruje dwa kolejne kolumny miesiąc i dzień z wartością "08" i "27" odpowiednio, oprócz kolumn wewnątrz plików.
      • Jeśli nie określono ścieżki głównej partycji, nie zostanie wygenerowana żadna dodatkowa kolumna.

      Screenshot showing Enable partition discovery.

  • Maksymalna liczba współbieżnych połączeń: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

  • Dodatkowe kolumny: Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tych ostatnich.

Element docelowy

Następujące właściwości są obsługiwane dla usługi Amazon S3 Zgodne na karcie Miejsce docelowe działania kopiowania.

Screenshot showing destination tab and the list of properties.

Wymaganenastępujące właściwości:

  • Typ magazynu danych: wybierz pozycję Zewnętrzne.
  • Połączenie ion: wybierz połączenie zgodne z usługą Amazon S3 z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie zgodne z usługą Amazon S3, wybierając pozycję Nowy.
  • typ Połączenie ionu: wybierz pozycję Amazon S3 Zgodne z typem połączenia.
  • Ścieżka pliku: dane można skopiować do danego zasobnika lub określonej ścieżki zasobnika i folderu.
  • Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

W obszarze Zaawansowane można określić następujące pola:

  • Zachowanie kopiowania: definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. Możesz wybrać zachowanie z listy rozwijanej.

    • Hierarchia spłaszczana: wszystkie pliki z folderu źródłowego znajdują się na pierwszym poziomie folderu docelowego. Pliki docelowe mają automatycznie wygenerowane nazwy.
    • Scal pliki: scala wszystkie pliki z folderu źródłowego do jednego pliku. Jeśli określono nazwę pliku, scalona nazwa pliku jest określoną nazwą. W przeciwnym razie jest to automatycznie wygenerowana nazwa pliku.
    • Zachowaj hierarchię: zachowuje hierarchię plików w folderze docelowym. Względna ścieżka pliku źródłowego do folderu źródłowego jest identyczna ze względną ścieżką pliku docelowego do folderu docelowego.
  • Maksymalna liczba połączeń współbieżnych: ta właściwość wskazuje górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

Mapowanie

W obszarze Konfiguracja karty Mapowanie przejdź do tematu Konfigurowanie mapowań na karcie mapowania. Jeśli wybierzesz plik binarny jako format pliku, mapowanie nie będzie obsługiwane.

Ustawienia

W przypadku konfiguracji karty Ustawienia przejdź do sekcji Konfigurowanie innych ustawień na karcie ustawienia.

Podsumowanie tabeli

Poniższe tabele zawierają więcej informacji na temat działania kopiowania w rozwiązaniu Amazon S3 Compatible.

Informacje źródłowe

Nazwa/nazwisko Opis Wartość Wymagania Właściwość skryptu JSON
Typ magazynu danych Typ magazynu danych. Zewnętrzne Tak /
Połączenie Połączenie ze źródłowym magazynem danych. <Połączenie zgodne z usługą Amazon S3> Tak połączenie
Connection type (Typ połączenia) Wybierz typ połączenia. Zgodność z usługą Amazon S3 Tak /
Typ ścieżki pliku Typ ścieżki pliku używany do pobierania danych źródłowych. Ścieżka pliku
Prefiks
Ścieżka pliku z symbolami wieloznacznymi
Lista plików
Tak /
W obszarze Ścieżka pliku
Wiadro Nazwa zasobnika magazynu zgodnego z usługą S3. <nazwa zasobnika> Tak bucketName
Katalogu Ścieżka do folderu w określonym zasobniku. <nazwa folderu> Nie. Folderpath
Nazwa pliku Nazwa pliku w określonym zasobniku i ścieżce folderu. <nazwa pliku> Nie. fileName
Dla prefiksu
Wiadro Nazwa zasobnika magazynu zgodnego z usługą S3. <nazwa zasobnika> Tak bucketName
Prefiks Prefiks nazwy klucza magazynu zgodnego z usługą S3 w ramach danego zasobnika do filtrowania źródłowych plików magazynu zgodnego z protokołem S3. <prefiks> Nie. Prefiks
W przypadku ścieżki pliku z symbolami wieloznacznymi
Wiadro Nazwa zasobnika magazynu zgodnego z usługą S3. <nazwa zasobnika> Tak bucketName
Ścieżka folderu z symbolami wieloznacznymi Ścieżka folderu z symbolami wieloznacznymi w określonym zasobniku do filtrowania folderów źródłowych. <ścieżka folderu z symbolami wieloznacznymi> Nie. wieloznacznyFolderPath
Nazwa pliku z symbolami wieloznacznymi Nazwa pliku z symbolami wieloznacznymi w ramach określonego zasobnika i ścieżki folderu (lub ścieżki folderu z symbolami wieloznacznymi) do filtrowania plików źródłowych. <nazwa pliku z symbolami wieloznacznymi> Tak symbol wieloznacznyFileName
Lista plików
Wiadro Nazwa zasobnika magazynu zgodnego z usługą S3. <nazwa zasobnika> Tak bucketName
Katalogu Ścieżka do folderu w określonym zasobniku. <nazwa folderu> Nie. Folderpath
Ścieżka do listy plików Wskazuje, aby skopiować dany zestaw plików. Wskaż plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz. < ścieżka listy plików > Nie. fileListPath
Format pliku Format pliku dla danych źródłowych. Aby uzyskać informacje o różnych formatach plików, zapoznaj się z artykułami w obsługiwanym formacie , aby uzyskać szczegółowe informacje. / Tak /
Rekursywnie Wskazuje, czy dane są odczytywane rekursywnie z podfolderów, czy tylko z określonego folderu. Należy pamiętać, że w przypadku wybrania opcji Rekursively i miejsce docelowe jest magazynem opartym na plikach, pusty folder lub podfolder nie jest kopiowany ani tworzony w miejscu docelowym. Ta właściwość nie ma zastosowania podczas konfigurowania ścieżki do listy plików. wybrane (domyślne) lub usuń zaznaczenie Nie. Cykliczne
Filtruj według ostatniej modyfikacji Pliki o ostatniej modyfikacji w zakresie [Godzina rozpoczęcia, Godzina zakończenia) będą filtrowane pod kątem dalszego przetwarzania. Czas zostanie zastosowany do strefy czasowej UTC w formacie yyyy-mm-ddThh:mm:ss.fffZ. Te właściwości można pominąć, co oznacza, że nie zostanie zastosowany filtr atrybutu pliku. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików. datetime Nie. modifiedDatetimeStart
modifiedDatetimeEnd
Włączanie odnajdywania partycji Wskazuje, czy należy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. wybrane lub niezaznaczone (ustawienie domyślne) Nie. enablePartitionDiscovery:
true lub false (wartość domyślna)
Ścieżka główna partycji Po włączeniu odnajdywania partycji określ bezwzględną ścieżkę katalogu głównego, aby odczytywać foldery podzielone na partycje jako kolumny danych. < ścieżka główna partycji > Nie. partitionRootPath
Maksymalna liczba współbieżnych połączeń Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne. <maksymalna liczba połączeń współbieżnych> Nie. maxConcurrent Połączenie ions
Dodatkowe kolumny Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tych ostatnich. • Nazwa
•Wartość
Nie. additionalColumns:
•Nazwa
•Wartość

Informacje o lokalizacji docelowej

Nazwa/nazwisko Opis Wartość Wymagania Właściwość skryptu JSON
Typ magazynu danych Typ magazynu danych. Zewnętrzne Tak /
Połączenie Połączenie z docelowym magazynem danych. <Połączenie zgodne z usługą Amazon S3> Tak połączenie
Connection type (Typ połączenia) Wybierz typ połączenia. Zgodność z usługą Amazon S3 Tak /
Ścieżka pliku Ścieżka folderu/pliku do pliku docelowego. <folder/ścieżka pliku> Tak /
Wiadro Nazwa zasobnika magazynu zgodnego z usługą S3. <nazwa zasobnika> Tak bucketName
Katalogu Ścieżka do folderu w określonym zasobniku. <nazwa folderu> Nie. Folderpath
Nazwa pliku Nazwa pliku w określonym zasobniku i ścieżce folderu. <nazwa pliku> Nie. fileName
Zachowanie kopiowania Definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. • Hierarchia spłaszczana
• Scalanie plików
• Zachowaj hierarchię
Nie. copyBehavior:
• FlattenHierarchy
• MergeFiles
• PreserveHierarchy
Maksymalna liczba połączeń współbieżnych Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne. <maksymalna liczba połączeń współbieżnych> Nie. maxConcurrent Połączenie ions