Freigeben über

Konfigurieren von Amazon S3 Compatible in einer Kopieraktivität

  • Artikel

In diesem Artikel wird beschrieben, wie Sie die Kopieraktivität in einer Datenpipeline verwenden, um Daten von Amazon S3 Compatible zu kopieren.

Erforderliche Berechtigungen

Um Daten aus Amazon S3 Compatible kopieren zu können, müssen Sie sicherstellen, dass Ihnen die folgenden Berechtigungen für Amazon S3 Compatible-Objektvorgänge erteilt wurden: s3:GetObject und s3:GetObjectVersion.

Darüber hinaus sind die Berechtigungen s3:ListAllMyBuckets und s3:ListBucket/s3:GetBucketLocation für Vorgänge wie das Testen der Verbindung und das Browsen vom Stamm aus erforderlich.

Die vollständige Liste der Amazon S3 Compatible-Berechtigungen finden Sie unter Specifying Permissions in a Policy (Angeben von Berechtigungen in einer Richtlinie) auf der AWS-Website.

Unterstütztes Format:

Amazon S3 Compatible unterstützt die folgenden Dateiformate. Informationen zu formatbasierten Einstellungen finden Sie in den jeweiligen Artikeln.

Unterstützte Konfiguration

Die Konfiguration der einzelnen Registerkarten unter der Kopieraktivität finden Sie in den folgenden Abschnitten.

Allgemein

Informationen zum Konfigurieren der Registerkarte Allgemein finden Sie unter Allgemeine Einstellungen.

Quelle

Die folgenden Eigenschaften werden für Amazon S3 Compatible auf der Registerkarte Quelle einer Kopieraktivität unterstützt.

Screenshot showing source tab and the list of properties.

Die folgenden Eigenschaften sind erforderlich:

  • Datenspeichertyp: Wählen Sie Extern aus.

  • Verbindung: Wählen Sie eine Amazon S3 Compatible-Verbindung aus der Verbindungsliste aus. Wenn keine Verbindung besteht, erstellen Sie eine neue Amazon S3 Compatible-Verbindung, indem Sie Neu auswählen.

  • Verbindungstyp: Wählen Sie Amazon S3 Compatible für Ihren Verbindungstyp aus.

  • Dateipfadtyp: Sie können Dateipfad, Präfix, Platzhalterdateipfad oder Liste der Dateien als Dateipfadtyp auswählen. Die Konfiguration für die einzelnen Einstellungen ist:

    • Dateipfad: Wenn Sie diesen Typ auswählen, können die Daten aus dem angegebenen Bucket oder dem angegebenen Bucket und dem Ordnerpfad kopiert werden.

    • Präfix: Wenn Sie diesen Typ auswählen, geben Sie den Bucket und den Präfix an.

      • Bucket: Geben Sie den Bucketnamen des S3-kompatiblen Speichers an. Sie ist erforderlich.

      • Präfix: Geben Sie das Präfix für den Namen des S3-kompatiblen Speicherschlüssels unter dem angegebenen Bucket zum Filtern von S3-kompatiblen Quellspeicherdateien an. Es werden die S3-kompatiblen Speicherschlüssel ausgewählt, deren Namen mit bucket/this_prefix beginnen. Es wird der dienstseitige Filter des S3-kompatiblen Speichers verwendet, dessen Leistung im Vergleich zu Platzhalterfiltern besser ist.

        Wenn Sie das Präfix verwenden und in ein dateibasiertes Ziel mit Beibehaltung der Hierarchie kopieren, wird der Unterpfad nach dem letzten „/“ im Präfix beibehalten. Wenn Sie beispielsweise bucket/folder/subfolder/file.txt als Quelle haben und das Präfix als folder/sub konfigurieren, lautet der beibehaltene Dateipfad subfolder/file.txt.

      Screenshot showing prefix.

    • Platzhalterdateipfad: Wenn Sie diesen Typ auswählen, geben Sie die Bucket- und Platzhalterpfade an.

      • Bucket: Geben Sie den Bucketnamen des S3-kompatiblen Speichers an. Sie ist erforderlich.

      • Platzhalterdateipfad: Geben Sie den Ordner- oder Dateipfad mit Platzhalterzeichen unter dem angegebenen Bucket an, um Ihre Quellordner oder -dateien zu filtern.

        Folgende Platzhalter sind zulässig: * (entspricht null [0] oder mehr Zeichen) und ? (entspricht null [0] oder einem einzelnen Zeichen). Verwenden Sie ^ als Escapezeichen, wenn Ihr Ordnername einen Platzhalter oder dieses Escapezeichen enthält. Weitere Beispiele finden Sie unter Beispiele für Ordner- und Dateifilter. Screenshot showing wildcard file path.Platzhalterordnerpfad: Der Ordnerpfad mit Platzhalterzeichen unter dem angegebenen Bucket, um Quellordner zu filtern.

        Platzhalterdateiname: Der Dateiname mit Platzhalterzeichen unter dem angegebenen Bucket und Ordnerpfad (oder Platzhalterordnerpfad), um Quelldateien zu filtern.

    • Dateiliste: Wenn Sie diesen Typ auswählen, geben Sie den Ordnerpfad und den Pfad zur Dateiliste an, um einen bestimmten Satz von Dateien zu kopieren. Verweisen Sie auf eine Textdatei, die eine Liste der zu kopierenden Dateien enthält, und zwar eine Datei pro Zeile. Dies ist der relative Pfad zu dem konfigurierten Pfad. Weitere Beispiele finden Sie unter Beispiele für Dateilisten.

      Screenshot showing list of files.

      • Ordnerpfad: Geben Sie den Pfad zum Ordner unter dem angegebenen Bucket an. Sie ist erforderlich.
      • Pfad zur Dateiliste: Geben Sie den Pfad der Textdatei an, die eine Liste der Dateien enthält, die Sie kopieren möchten.

  • Dateiformat: Wählen Sie das verwendete Dateiformat aus der Dropdownliste aus. Wählen Sie Einstellungen aus, um das Dateiformat zu konfigurieren. Detaillierte Informationen zu den Einstellungen der verschiedenen Dateiformate finden Sie in den Artikeln unter Unterstützte Formate.

  • Rekursiv: Geben Sie an, ob die Daten rekursiv aus den Unterordnern oder nur aus dem angegebenen Ordner gelesen werden. Wenn Rekursiv ausgewählt ist und das Ziel ein dateibasierter Speicher ist, wird kein leerer Ordner oder Unterordner am Zielort kopiert oder erstellt. Diese Eigenschaft ist standardmäßig ausgewählt und gilt nicht, wenn Sie Pfad zur Dateiliste konfigurieren.

Unter Erweitert können Sie die folgenden Felder angeben:

  • Nach der letzten Änderung filtern: Die Dateien werden nach den von Ihnen angegebenen Daten der letzten Änderung gefiltert. Diese Eigenschaft gilt nicht, wenn Sie Ihren Dateipfadtyp als Liste der Dateien konfigurieren.

    • Startzeit (UTC): Die Dateien werden ausgewählt, wenn der Zeitpunkt ihrer letzten Änderung größer oder gleich der konfigurierten Zeitangabe ist.
    • Endzeit (UTC): Die Dateien werden ausgewählt, wenn der Zeitpunkt ihrer letzten Änderung kleiner als die konfigurierte Zeitangabe ist.

    Wenn Startzeit (UTC) einen datetime-Wert aufweist, aber Endzeit (UTC) NULL ist, bedeutet dies, dass die Dateien ausgewählt werden, deren Attribut für die letzte Änderung größer oder gleich dem datetime-Wert ist. Wenn Endzeit (UTC) einen datetime-Wert aufweist, aber Startzeit (UTC) NULL ist, bedeutet dies, dass die Dateien ausgewählt werden, deren Attribut für die letzte Änderung kleiner als der datetime-Wert ist. Die Eigenschaften können NULL sein, was bedeutet, dass kein Dateiattributfilter auf die Daten angewendet wird.

  • Partitionsermittlung aktivieren: Geben Sie an, ob die Partitionen anhand des Dateipfads analysiert und als zusätzliche Quellspalten hinzugefügt werden sollen. Diese Option ist standardmäßig deaktiviert und wird nicht unterstützt, wenn Sie das Binärdateiformat verwenden.

    • Stammverzeichnis der Partition: Wenn die Partitionsermittlung aktiviert ist, geben Sie den absoluten Stammverzeichnispfad an, um partitionierte Ordner als Datenspalten zu lesen.

      Ohne Angabe gilt standardmäßig Folgendes:

      • Wenn Sie den Dateipfad oder die Liste der Dateien in der Quelle verwenden, ist der Partitionsstammpfad der von Ihnen konfigurierte Pfad.
      • Wenn Sie einen Platzhalterordnerfilter verwenden, ist der Stammpfad der Partition der Unterpfad vor dem ersten Platzhalter.
      • Wenn Sie Präfix verwenden, ist der Stammpfad der Partition ein Unterpfad vor dem letzten „/“.

      Angenommen, Sie konfigurieren den Pfad beispielsweise als root/folder/year=2020/month=08/day=27:

      • Wenn Sie für den Stammpfad der Partition root/folder/year=2020 angeben, generiert die Kopieraktivität zusätzlich zu den Spalten in den Dateien zwei weitere Spalten für Monat und Tag mit den Werten „08“ bzw. „27“.
      • Wenn kein Stammpfad für die Partition angegeben wird, werden keine zusätzlichen Spalten generiert.

      Screenshot showing Enable partition discovery.

  • Maximale Anzahl gleichzeitiger Verbindungen: Die Obergrenze der gleichzeitigen Verbindungen zum Datenspeicher, die während des Ausführens der Aktivität hergestellt werden. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.

  • Zusätzliche Spalten: Fügen Sie zusätzliche Datenspalten hinzu, um den relativen Pfad oder statischen Wert der Quelldateien zu speichern. Für Letzteres wird ein Ausdruck unterstützt.

Destination

Die folgenden Eigenschaften werden für Amazon S3-kompatibel auf der Registerkarte Ziel einer Copy-Aktivität unterstützt.

Screenshot showing destination tab and the list of properties.

Die folgenden Eigenschaften sind erforderlich:

  • Datenspeichertyp: Wählen Sie Extern aus.
  • Verbindung: Wählen Sie eine Amazon S3 Compatible-Verbindung aus der Verbindungsliste aus. Wenn keine Verbindung besteht, erstellen Sie eine neue Amazon S3 Compatible-Verbindung, indem Sie Neu auswählen.
  • Verbindungstyp: Wählen Sie Amazon S3 Compatible für Ihren Verbindungstyp aus.
  • Dateipfad: Die Daten können in den angegebenen Bucket oder den angegebenen Bucket und Ordnerpfad kopiert werden.
  • Dateiformat: Wählen Sie das verwendete Dateiformat aus der Dropdownliste aus. Wählen Sie Einstellungen aus, um das Dateiformat zu konfigurieren. Detaillierte Informationen zu den Einstellungen der verschiedenen Dateiformate finden Sie in den Artikeln unter Unterstützte Formate.

Unter Erweitert können Sie die folgenden Felder angeben:

  • Kopierverhalten: Definiert das Kopierverhalten, wenn es sich bei der Quelle um Dateien aus einem dateibasierten Datenspeicher handelt. Sie können eine Verhaltensweise aus der Dropdownliste auswählen.

    • Hierarchie vereinfachen: Alle Dateien aus dem Quellordner befinden sich auf der ersten Ebene des Zielordners. Die Zieldateien haben automatisch generierte Namen.
    • MergeFiles: Alle Dateien aus dem Quellordner werden in einer Datei zusammengeführt. Wenn der Dateiname angegeben wurde, entspricht der zusammengeführte Dateiname dem angegebenen Namen. Ansonsten handelt es sich um einen automatisch generierten Dateinamen.
    • Hierarchie beibehalten: Behält die Dateihierarchie im Zielordner bei. Der relative Pfad der Quelldatei zum Quellordner entspricht dem relativen Pfad der Zieldatei zum Zielordner.

  • Maximale Anzahl gleichzeitiger Verbindungen: Diese Eigenschaft gibt die Obergrenze der gleichzeitigen Verbindungen zum Datenspeicher an, die während des Ausführens der Aktivität hergestellt werden. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.

Zuordnung

Für die Konfiguration der Registerkarte Zuordnung wechseln Sie zu Konfigurieren der Zuordnungen auf der Registerkarte „Zuordnung“. Wenn Sie „Binär“ als Dateiformat auswählen, wird die Zuordnung nicht unterstützt.

Einstellungen

Wechseln Sie für die Konfiguration der Registerkarte Einstellungen zu Konfigurieren der anderen Einstellungen auf der Registerkarte „Einstellungen“.

Tabellenzusammenfassung

Die folgenden Tabellen enthalten weitere Informationen über die Kopieraktivitäten in Amazon S3 Compatible.

Quellinformationen

Name Beschreibung Wert Erforderlich JSON-Skripteigenschaft
Datenspeichertyp Ihr Datenspeichertyp Extern Ja /
Verbindung Ihre Verbindung mit dem Quelldatenspeicher <Ihre Amazon S3 Compatible-Verbindung> Ja Verbindung
Verbindungstyp Wählen Sie einen Typ für Ihre Verbindung aus. Amazon S3 Compatible Ja /
Dateipfadtyp Der Dateipfadtyp, der zum Abrufen von Quelldaten verwendet wird. • Dateipfad
• Präfix
• Platzhalterdateipfad
• Dateiliste		 Ja /
Für Dateipfad
Bucket Der Bucketname des S3-kompatiblen Speichers. <Ihr Bucketname> Ja bucketName
Verzeichnis Der Pfad zum Ordner unter dem angegebenen Bucket. <Ihr Ordnername> Nein folderpath
Dateiname Der Name der Datei unter dem angegebenen Bucket und Ordnerpfad. <Ihr Dateiname> Nein fileName
Für Präfix
Bucket Der Bucketname des S3-kompatiblen Speichers. <Ihr Bucketname> Ja bucketName
Präfix Das Präfix für den Namen des S3-kompatiblen Speicherschlüssels unter dem angegebenen Bucket, zum Filtern von S3-kompatiblen Quellspeicherdateien. <Ihr Präfix> Nein prefix
Für Platzhalterdateipfad
Bucket Der Bucketname des S3-kompatiblen Speichers. <Ihr Bucketname> Ja bucketName
Platzhalterordnerpfad Der Ordnerpfad mit Platzhalterzeichen unter dem angegebenen Bucket zum Filtern von Quellordnern. <Ihr Ordnerpfad mit Platzhalterzeichen> Nein wildcardFolderPath
Platzhalterdateiname Der Dateiname mit Platzhalterzeichen unter dem angegebenen Bucket und Ordnerpfad (oder Platzhalterordnerpfad) für das Filtern von Quelldateien. <Ihr Dateiname mit Platzhalterzeichen> Ja wildcardFileName
Für Dateiliste
Bucket Der Bucketname des S3-kompatiblen Speichers. <Ihr Bucketname> Ja bucketName
Verzeichnis Der Pfad zum Ordner unter dem angegebenen Bucket. <Ihr Ordnername> Nein folderpath
Pfad zur Dateiliste Gibt an, dass eine bestimmte Dateigruppe kopiert werden soll. Verweisen Sie auf eine Textdatei, die eine Liste der zu kopierenden Dateien enthält, und zwar eine Datei pro Zeile. < Dateilistenpfad > Nein fileListPath
Dateiformat Das Dateiformat der Quelldaten. Detaillierte Informationen zu den verschiedenen Dateiformate finden Sie in den Artikeln unter Unterstützte Formate. / Ja /
Rekursiv Gibt an, ob die Daten rekursiv aus den Unterordnern oder nur aus dem angegebenen Ordner gelesen werden. Hinweis: Wenn Rekursiv ausgewählt ist und das Ziel ein dateibasierter Speicher ist, wird kein leerer Ordner oder Unterordner am Zielort kopiert oder erstellt. Diese Eigenschaft gilt nicht, wenn Sie Pfad zur Dateiliste konfigurieren. ausgewählt (Standardwert) oder nicht ausgewählt Nein recursive
Nach der letzten Änderung filtern Die Dateien mit dem Zeitpunkt der letzten Änderung im Bereich [Startzeit, Endzeit] werden für die weitere Verarbeitung gefiltert. Die Zeitangabe wird auf die UTC-Zeitzone im Format yyyy-mm-ddThh:mm:ss.fffZ angewendet. Diese Eigenschaften können übersprungen werden, was bedeutet, dass kein Dateiattributfilter angewendet wird. Diese Eigenschaft gilt nicht, wenn Sie Ihren Dateipfadtyp als Liste der Dateien konfigurieren. datetime Nein modifiedDatetimeStart
modifiedDatetimeEnd
Partitionsermittlung aktivieren Gibt an, ob die Partitionen aus dem Dateipfad analysiert und als zusätzliche Quellspalten hinzugefügt werden sollen. Aktiviert oder deaktiviert (Standardwert) Nein enablePartitionDiscovery:
TRUE oder FALSE (Standardwert)
Partitionsstammpfad Wenn die Partitionsermittlung aktiviert ist, geben Sie den absoluten Stammpfad an, um partitionierte Ordner als Datenspalten zu lesen. < Ihr Partitionsstammpfad > Nein partitionRootPath
Maximal zulässige Anzahl paralleler Verbindungen Die Obergrenze gleichzeitiger Verbindungen mit dem Datenspeicher während der Aktivitätsausführung. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten. <Maximal zulässige Anzahl paralleler Verbindungen> Nein maxConcurrentConnections
Zusätzliche Spalten Fügen Sie zusätzliche Datenspalten hinzu, um den relativen Pfad oder statischen Wert der Quelldateien zu speichern. Für Letzteres wird ein Ausdruck unterstützt. • Name
• Wert		 Nein additionalColumns:
• Name
• Wert

Zielinformationen

Name Beschreibung Wert Erforderlich JSON-Skripteigenschaft
Datenspeichertyp Ihr Datenspeichertyp Extern Ja /
Verbindung Ihre Verbindung mit dem Zieldatenspeicher. <Ihre Amazon S3 Compatible-Verbindung> Ja Verbindung
Verbindungstyp Wählen Sie einen Typ für Ihre Verbindung aus. Amazon S3 Compatible Ja /
Dateipfad Der Ordner-Dateipfad zur Zieldatei. <Ordner-/Dateipfad> Ja /
Bucket Der Bucketname des S3-kompatiblen Speichers. <Ihr Bucketname> Ja bucketName
Verzeichnis Der Pfad zum Ordner unter dem angegebenen Bucket. <Ihr Ordnername> Nein folderpath
Dateiname Der Name der Datei unter dem angegebenen Bucket und Ordnerpfad. <Ihr Dateiname> Nein fileName
Kopierverhalten Definiert das Kopierverhalten, wenn es sich bei der Quelle um Dateien aus einem dateibasierten Datenspeicher handelt. • Hierarchie vereinfachen
• Zusammenführen von Dateien
• Hierarchie beibehalten
 Nein copyBehavior:
• FlattenHierarchy
• MergeFiles
• PreserveHierarchy
Maximal zulässige Anzahl paralleler Verbindungen Die Obergrenze gleichzeitiger Verbindungen mit dem Datenspeicher während der Aktivitätsausführung. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten. <Maximal zulässige Anzahl paralleler Verbindungen> Nein maxConcurrentConnections

Zugehöriger Inhalt