Konfigurieren von Azure Synapse Analytics in einer Copy-Aktivität
In diesem Artikel wird beschrieben, wie Sie die Kopieraktivität in der Datenpipeline verwenden, um Daten von und nach Azure Synapse Analytics zu kopieren.
Unterstützte Konfiguration
Die Konfiguration der einzelnen Registerkarten unter der Kopieraktivität finden Sie in den folgenden Abschnitten.
Allgemein
Informationen zum Konfigurieren der Registerkarte Allgemein finden Sie unter Allgemeine Einstellungen.
Quelle
Die folgenden Eigenschaften werden für Azure Synapse Analytics auf der Registerkarte Quelle einer Kopieraktivität unterstützt.
Die folgenden Eigenschaften sind erforderlich:
Datenspeichertyp: Wählen Sie Extern aus.
Verbindung: Wählen Sie eine Azure Synapse Analytics-Verbindung aus der Verbindungsliste aus. Wenn die Verbindung nicht existiert, erstellen Sie eine neue Azure Synapse Analytics-Verbindung, indem Sie Neu auswählen.
Verbindungstyp: Wählen Sie Azure Synapse Analytics aus.
Abfrage verwenden: Sie können Tabelle, Abfrage oder Gespeicherte Prozedur auswählen, um Ihre Quelldaten zu lesen. In der folgenden Liste wird die Konfiguration der einzelnen Einstellungen beschrieben:
Tabelle: Liest Daten aus der Tabelle, die Sie oben in Tabelle angegeben haben, wenn Sie diese Schaltfläche auswählen. Wählen Sie ihre Tabelle aus der Dropdownliste aus, oder wählen Sie Bearbeiten aus, um das Schema und den Tabellennamen manuell einzugeben.
Abfrage: Geben Sie die benutzerdefinierte SQL-Abfrage zum Lesen der Daten an. z. B.
select * from MyTable
. Oder wählen Sie das Stiftsymbol aus, das im Code-Editor bearbeitet werden soll.Gespeicherte Prozedur: Verwenden Sie die gespeicherte Prozedur, die Daten aus der Quelltabelle liest. Die letzte SQL-Anweisung muss eine SELECT-Anweisung in der gespeicherten Prozedur sein.
- Name der gespeicherten Prozedur: Wählen Sie die gespeicherte Prozedur aus, oder geben Sie den Namen der gespeicherten Prozedur manuell an, wenn Sie das Feld Bearbeiten aktivieren.
- Parameter für gespeicherte Prozeduren: Wählen Sie Parameter importieren aus, um den Parameter in der angegebenen gespeicherten Prozedur zu importieren, oder fügen Sie Parameter für die gespeicherte Prozedur hinzu, indem Sie + Neu auswählen. Zulässige Werte sind Namen oder Name-Wert-Paare. Die Namen und die Groß-/Kleinschreibung von Parametern müssen denen der Parameter der gespeicherten Prozedur entsprechen.
Unter Erweitert können Sie die folgenden Felder angeben:
Abfragetimeout (Minuten): Geben Sie den Timeout für die Ausführung von Abfragebefehlen an, der Standardwert ist 120 Minuten. Wenn für diese Eigenschaft ein Parameter festgelegt wird, sind Timespan-Werte zulässig, z. B. „02:00:00“ (120 Minuten).
Isolationsstufe: Gibt das Sperrverhalten für Transaktionen für die SQL-Quelle an. Zulässige Werte sind: None, ReadCommitted, ReadUncommitted, RepeatableRead, Serializable oder Snapshot. Wenn der Wert nicht angegeben ist, wird die Isolationsstufe None verwendet. Weitere Informationen finden Sie unter IsolationLevel-Enumeration.
Partitionsoption: Geben Sie die Datenpartitionierungsoptionen an, die zum Laden von Daten aus der Azure Synapse Analytics verwendet werden. Zulässige Werte sind: Keine (Standard), Physische Partitionen der Tabelle und Dynamischer Bereich. Wenn eine Partitionierungsoption aktiviert ist (d.h. nicht Keine), wird der Parallelitätsgrad für das gleichzeitige Laden von Daten aus Azure Synapse Analytics durch die Einstellung Parallele Kopie der Kopieraktivität gesteuert.
Keine: Wählen Sie diese Einstellung aus, um keine Partition zu verwenden.
Physische Partitionen der Tabelle: Wählen Sie diese Einstellung aus, wenn Sie eine physische Partition verwenden möchten. Die Partitionsspalte und der Mechanismus werden automatisch auf der Grundlage Ihrer physischen Tabellendefinition bestimmt.
Dynamischer Bereich: Wählen Sie diese Einstellung aus, wenn Sie eine dynamische Bereichspartition verwenden möchten. Bei Verwendung der Abfrage mit aktivierter Parallelität wird der Parameter für die Bereichspartition (
?DfDynamicRangePartitionCondition
) benötigt. Beispielabfrage:SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
.- Partitionsspaltenname: Geben Sie den Namen der Quellspalte als „integer“ oder „date/datetime“ (
int
,smallint
,bigint
,date
,smalldatetime
,datetime
,datetime2
oderdatetimeoffset
) an, der bei der Bereichspartitionierung für das parallele Kopieren verwendet wird. Wenn nichts angegeben wurde, wird der Index oder der Primärschlüssel der Tabelle automatisch erkannt und als Partitionsspalte verwendet. - Partitionsobergrenze: ‚Geben Sie den maximalen Wert der Partitionsspalte für das Teilen des Partitionsbereichs an. Dieser Wert wird zur Entscheidung über den Partitionssprung verwendet, nicht zum Filtern der Zeilen in der Tabelle. Alle Zeilen in der Tabelle oder im Abfrageergebnis werden partitioniert und kopiert.
- Partitionsuntergrenze: Geben Sie den Mindestwert der Partitionsspalte für das Teilen des Partitionsbereichs an. Dieser Wert wird zur Entscheidung über den Partitionssprung verwendet, nicht zum Filtern der Zeilen in der Tabelle. Alle Zeilen in der Tabelle oder im Abfrageergebnis werden partitioniert und kopiert.
- Partitionsspaltenname: Geben Sie den Namen der Quellspalte als „integer“ oder „date/datetime“ (
Zusätzliche Spalten: Fügen Sie zusätzliche Datenspalten hinzu, um den relativen Pfad oder statischen Wert der Quelldateien zu speichern. Für Letzteres wird ein Ausdruck unterstützt. Weitere Informationen finden Sie unter Hinzufügen zusätzlicher Spalten während des Kopiervorgangs.
Destination
Die folgenden Eigenschaften werden für Azure Synapse Analytics auf der Registerkarte Quelle einer Kopieraktivität unterstützt.
Die folgenden Eigenschaften sind erforderlich:
- Datenspeichertyp: Wählen Sie Extern aus.
- Verbindung: Wählen Sie eine Azure Synapse Analytics-Verbindung aus der Verbindungsliste aus. Wenn die Verbindung nicht existiert, erstellen Sie eine neue Azure Synapse Analytics-Verbindung, indem Sie Neu auswählen.
- Verbindungstyp: Wählen Sie Azure Synapse Analytics aus.
- Tabellenoption: Sie können Vorhandene verwenden und Tabelle automatisch erstellen auswählen. In der folgenden Liste wird die Konfiguration der einzelnen Einstellungen beschrieben:
- Vorhandene verwenden: Wählen Sie in der Dropdownliste die Tabelle in Ihrer Datenbank aus. Sie können auch Bearbeiten aktivieren, um das Schema und den Tabellennamen manuell einzugeben.
- Tabelle automatisch erstellen: Es wird automatisch die Tabelle (falls nicht vorhanden) im Quellschema erstellt.
Unter Erweitert können Sie die folgenden Felder angeben:
Kopiermethode Wählen Sie die Methode aus, die Sie zum Kopieren von Daten verwenden möchten. Sie können Copy-Befehl, PolyBase, Masseneinfügen oder Upsert auswählen. In der folgenden Liste wird die Konfiguration der einzelnen Einstellungen beschrieben:
Copy-Befehl: Verwenden Sie die COPY-Anweisung, um Daten aus dem Azure-Speicher in Azure Synapse Analytics oder einen SQL-Pool zu laden.
- Copy-Befehl zulassen: Diese Option muss bei Auswahl von Copy-Befehl unbedingt aktiviert werden.
- Standardwerte: Geben Sie die Standardwerte für die einzelnen Zielspalten in Azure Synapse Analytics an. Die Standardwerte in der Eigenschaft überschreiben die in Data Warehouse festgelegte DEFAULT-Einschränkung, und die Identitätsspalte darf keinen Standardwert haben.
- Zusätzliche Optionen: Zusätzliche Optionen, die direkt in der „With“-Klausel der COPY-Anweisung an eine COPY-Anweisung in Azure Synapse Analytics übergeben werden. Geben Sie den Wert so an, wie er gemäß den Anforderungen der COPY-Anweisung erforderlich ist.
PolyBase: PolyBase ist ein Mechanismus für hohen Durchsatz. Verwenden Sie die Option, um große Datenmengen in Azure Synapse Analytics oder einen SQL-Pool zu laden.
- PolyBase zulassen: Diese Option muss ausgewählt werden, wenn Sie PolyBase auswählen.
- Ablehnungstyp: Gibt an, ob die rejectValue-Option als Literalwert oder Prozentsatz angegeben ist. Zulässige Werte sind Value (Standard) und Percentage.
- Ablehnungswert: Gibt die Anzahl oder den Prozentsatz von Zeilen an, die abgelehnt werden können, bevor die Abfrage fehlschlägt. Weitere Informationen zu den PolyBase-Ablehnungsoptionen finden Sie im Abschnitt „Argumente“ in CREATE EXTERNAL TABLE (Transact-SQL). Zulässige Werte sind „0“ (Standard), „1“, „2“ usw.
- Ablehnungsstichprobenwert:Gibt die Anzahl von Zeilen an, die abgerufen werden sollen, bevor PolyBase den Prozentsatz der abgelehnten Zeilen neu berechnet. Zulässige Werte sind 1, 2 usw. Wenn Sie Prozentsatz als Ablehnungstyp auswählen, muss diese Eigenschaft angegeben werden.
- Standardtyp verwenden: Gibt an, wie fehlende Werte in durch Trennzeichen getrennten Textdateien behandelt werden sollen, wenn PolyBase Daten aus der Textdatei abruft. Weitere Informationen zu dieser Eigenschaft finden Sie im Abschnitt zu Argumenten im Thema CREATE EXTERNAL FILE FORMAT (Transact-SQL)verwenden können. Zulässige Werte sind „Aktiviert“ (Standardeinstellung) und „Deaktiviert“.
Masseneinfügen: Verwenden Sie Masseneinfügen, um Daten in einem Masseneinfügevorgang in das Ziel einzufügen.
- Masseneinfügen-Tabellensperre:Verwenden Sie diese Einstellung, um die Kopierleistung während eines Masseneinfügevorgangs in eine Tabelle ohne Index von mehreren Clients aus zu verbessern. Weitere Informationen finden Sie unter BULK INSERT (Transact-SQL).
Upsert: Geben Sie die Gruppe der Einstellungen für das Schreibverhalten an, wenn Sie für Ihre Daten ein Upsert im Ziel ausführen möchten.
Schlüsselspalten: Wählen Sie aus, anhand welcher Spalte ermittelt wird, ob eine Zeile aus der Quelle mit einer Zeile aus dem Ziel übereinstimmt.
Masseneinfügen-Tabellensperre:Verwenden Sie diese Einstellung, um die Kopierleistung während eines Masseneinfügevorgangs in eine Tabelle ohne Index von mehreren Clients aus zu verbessern. Weitere Informationen finden Sie unter BULK INSERT (Transact-SQL).
Skript vor Kopiervorgang: Geben Sie ein Skript für die Kopieraktivität an, das bei jeder Ausführung vor dem Schreiben von Daten in eine Zieltabelle ausgeführt werden soll. Sie können diese Eigenschaft nutzen, um die vorab geladenen Daten zu bereinigen.
Zeitlimit für Batchschreibvorgang: Geben Sie die Wartezeit an, bis der Batch-Einfügevorgang beendet ist, bevor er eine Zeitüberschreitung verursacht. Der zulässige Wert ist ein Timespan-Wert. Der Standardwert lautet „00:30:00“ (30 Minuten).
Schreibbatchgröße: Geben Sie die Anzahl der Zeilen an, die pro Batch in die SQL-Tabelle eingefügt werden sollen. Zulässiger Wert: integer (Anzahl der Zeilen) Standardmäßig bestimmt der Dienst die geeignete Batchgröße dynamisch auf der Grundlage der Zeilengröße.
Maximale Anzahl gleichzeitiger Verbindungen: Geben Sie die Obergrenze der gleichzeitigen Verbindungen zum Datenspeicher an, die während des Ausführens der Aktivität hergestellt werden. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.
Analyse von Leistungsmetriken deaktivieren: Diese Einstellung wird zum Sammeln von Metriken wie DTU, DWU, RU usw. für die Optimierung der Kopierleistung und Empfehlungen verwendet. Wenn dieses Verhalten problematisch sein könnte, aktivieren Sie dieses Kontrollkästchen. Standardmäßig ist sie deaktiviert.
Direktes Kopieren mithilfe des COPY-Befehls
Der COPY-Befehl für Azure Synapse Analytics unterstützt Azure Blob Storage und Azure Data Lake Storage Gen2 direkt als Quelldatenspeicher. Wenn Ihre Daten die in diesem Abschnitt beschriebenen Kriterien erfüllen, können Sie mithilfe des COPY-Befehls direkt aus dem Quelldatenspeicher in Azure Synapse Analytics kopieren.
Quelldaten und -format enthalten die folgenden Typen und Authentifizierungsmethoden:
Unterstützter Quelldatenspeicher-Typ Unterstütztes Format Unterstützter Quellauthentifizierungstyp Azure Blob Storage Text mit Trennzeichen
ParquetAnonyme Authentifizierung
Kontoschlüsselauthentifizierung
SAS-Authentifizierung (Shared Access Signature)Azure Data Lake Storage Gen2 Text mit Trennzeichen
ParquetKontoschlüsselauthentifizierung
SAS-Authentifizierung (Shared Access Signature)Die folgenden Formateinstellungen können festgelegt werden:
- Für Parquet: Der Komprimierungstyp kann None, snappy oder gzip sein.
- Für DelimitedText:
- Zeilentrennzeichen: Geben Sie das Zeilentrennzeichen explizit an („\r“ „\n“ oder „\r\n“), wenn von durch Trennzeichen getrennter Text über den direkten COPY-Befehl in Azure Synapse Analytics kopiert wird. Nur wenn das Zeilentrennzeichen der Quelldatei „\r\n“ ist, funktioniert der Standardwert („\r“, „\n“ oder „\r\n“). Aktivieren Sie andernfalls das Staging für Ihr Szenario.
- Sie können den Standardwert NULL-Wert übernehmen oder Leere Zeichenfolge („“) festlegen.
- Für die Codierung können Sie den Standardwert übernehmen oder UTF-8 bzw. UTF-16 festlegen.
- Für die Anzahl übersprungener Zeilen können Sie den Standardwert beibehalten oder 0 (null) festlegen.
- Der Komprimierungstyp kann None oder gzip sein.
Wenn Ihre Quelle ein Ordner ist, müssen Sie das Kontrollkästchen Rekursiv aktivieren.
Startzeit (UTC) und Endzeit (UTC) in Nach letzter Änderung filtern, Präfix, Partitionsermittlung aktivieren und Zusätzliche Spalten werden nicht angegeben.
Informationen zum Erfassen von Daten in Azure Synapse Analytics mithilfe des COPY-Befehls finden Sie in diesem Artikel.
Wenn der Speicher und das Format der Quelldaten vom COPY-Befehl ursprünglich nicht unterstützt werden, können Sie stattdessen das Feature „Gestaffeltes Kopieren“ mit dem COPY-Befehl verwenden. Es konvertiert die Daten automatisch in ein für den COPY-Befehl kompatibles Format und ruft dann einen COPY-Befehl auf, um Daten in Azure Synapse Analytics zu laden.
Zuordnung
Gehen Sie für die Registrierkartenkonfiguration Zuordnung, wenn Sie Azure Synapse Analytics nicht mit der automatischen Erstellungstabelle als Ziel anwenden, zu Zuordnung.
Wenn Sie Azure Synapse Analytics mit einer sich automatisch erstellenden Tabelle als Ziel verwenden, können Sie mit Ausnahme der Konfiguration in Zuordnung den Typ für Ihre Zielspalten bearbeiten. Nach dem Auswählen von Importschemas können Sie den Spaltentyp in Ihrem Ziel angeben.
Der Typ für die Spalte ID in der Quelle ist z. B. „int“, und Sie können ihn beim Zuordnen zur Zielspalte in den Typ „Float“ ändern.
Einstellungen
Wechseln Sie für die Konfiguration der Registerkarte Einstellungen zu Konfigurieren der anderen Einstellungen auf der Registerkarte „Einstellungen“.
Paralleles Kopieren aus Azure Synapse Analytics
Der Azure Synapse Analytics-Connector in der Kopieraktivität verfügt über eine integrierte Datenpartitionierung zum parallelen Kopieren von Daten. Die Datenpartitionierungsoptionen befinden sich auf der Registerkarte Quelle der Kopieraktivität.
Wenn Sie partitioniertes Kopieren aktivieren, führt die Kopieraktivität parallele Abfragen für Ihre Azure Synapse Analytics-Quelle aus, um Daten anhand von Partitionen zu laden. Der Parallelitätsgrad wird über die Einstellung Parallelitätsgrad für Kopiervorgänge auf der Registerkarte mit den Einstellungen der Copy-Aktivität gesteuert. Wenn Sie Parallelitätsgrad für Kopiervorgänge z. B. auf 4 festlegen, generiert der Dienst basierend auf der von Ihnen angegebenen Partitionsoption und Ihren Einstellungen gleichzeitig vier Abfragen und führt sie aus. Dabei ruft jede Abfrage einen Teil der Daten von Azure Synapse Analytics ab.
Es wird empfohlen, das parallele Kopieren mit Datenpartitionierung zu aktivieren. Das gilt insbesondere, wenn Sie große Datenmengen aus Ihrer Azure Synapse Analytics-Instanz laden. Im Anschluss finden Sie empfohlene Konfigurationen für verschiedene Szenarien. Beim Kopieren von Daten in einen dateibasierten Datenspeicher wird empfohlen, mehrere Dateien in einen Ordner zu schreiben (nur den Ordnernamen anzugeben). In diesem Fall ist die Leistung besser als beim Schreiben in eine einzelne Datei.
Szenario | Empfohlene Einstellungen |
---|---|
Vollständiges Laden aus einer großen Tabelle mit physischen Partitionen | Partitionsoption: Physische Partitionen der Tabelle. Während der Ausführung erkennt der Dienst automatisch die physischen Partitionen und kopiert Daten nach Partitionen. Um zu überprüfen, ob Ihre Tabelle eine physische Partition besitzt oder nicht, können Sie auf diese Abfrage verweisen. |
Vollständiges Laden aus einer großen Tabelle ohne physische Partitionen, aber mit einer integer- oder datetime-Spalte für die Datenpartitionierung. | Partitionsoptionen: Dynamische Bereichspartitionierung Partitionsspalte (optional): Geben Sie die Spalte für die Datenpartitionierung an. Ohne Angabe wird der Index oder die Primärschlüsselspalte verwendet. Obergrenze der Partition und Untergrenze der Partition (optional): Geben Sie an, ob Sie den Partitionssprung bestimmen möchten. Dies dient nicht zum Filtern der Zeilen in der Tabelle; alle Zeilen in der Tabelle werden partitioniert und kopiert. Wenn nicht angegeben, werden die Werte für die Copy-Aktivität automatisch erkannt. Wenn Ihre Partitionsspalte "ID" beispielsweise einen Wertebereich von 1 bis 100 hat und Sie die untere Grenze auf 20 und die obere Grenze auf 80 und die Parallelkopie auf 4 setzen, ruft der Dienst Daten nach 4 Partitionen ab - IDs im Bereich <=20, [21, 50], [51, 80] bzw. >=81. |
Laden einer großen Datenmenge unter Verwendung einer benutzerdefinierten Abfrage ohne physische Partitionen, aber mit einer integer- oder date/datetime-Spalte für die Datenpartitionierung. | Partitionsoptionen: Dynamische Bereichspartitionierung Abfrage: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> Partitionsspalte: Geben Sie die Spalte für die Datenpartitionierung an. Obergrenze der Partition und Untergrenze der Partition (optional): Geben Sie an, ob Sie den Partitionssprung bestimmen möchten. Dies dient nicht zum Filtern der Zeilen in der Tabelle; alle Zeilen im Abfrageergebnis werden partitioniert und kopiert. Wenn nicht angegeben, wird der Wert für die Kopieraktivität automatisch erkannt. Wenn Ihre Partitionsspalte „ID“ beispielsweise einen Wertebereich von 1 bis 100 hat und Sie die untere Grenze auf 20, die obere Grenze auf 80 und die Parallelkopie auf 4 festlegen, ruft der Dienst Daten nach 4 Partitionen ab – IDs im Bereich <=20, [21, 50], [51, 80] bzw. >=81. Hier finden Sie weitere Beispiele für verschiedene Szenarien: • Abfrage der gesamten Tabelle: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition • Abfrage aus einer Tabelle mit Spaltenauswahl und zusätzlichen Where-Klausel-Filtern: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> • Abfragen mit Unterabfragen: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> • Abfrage mit Partition in Unterabfrage: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T |
Bewährte Methoden zum Laden von Daten mit Partitionierungsoption:
- Wählen Sie eine aussagekräftige Spalte als Partitionsspalte (wie Primärschlüssel oder eindeutiger Schlüssel), um Datenabweichungen zu vermeiden.
- Wenn die Tabelle eine integrierte Partition aufweist, verwenden Sie die Partitionsoption Physische Partitionen der Tabelle, um eine bessere Leistung zu erzielen.
- Azure Synapse Analytics kann gleichzeitig maximal 32 Abfragen ausführen. Wenn Sie den Grad der Kopierparallelität auf einen zu hohen Wert festlegen, kann dies zu einem Drosselungsproblem im Zusammenhang mit Azure Synapse Analytics führen.
Beispielabfrage zur Überprüfung der physischen Partition
SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, c.name AS ColumnName, CASE WHEN c.name IS NULL THEN 'no' ELSE 'yes' END AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.types AS y ON c.system_type_id = y.system_type_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'
Wenn die Tabelle eine physische Partition besitzt, würde „HasPartition“ als „Yes“ (Ja) angezeigt werden.
Tabellenzusammenfassung
Die folgenden Tabellen enthalten weitere Informationen über die Kopieraktivitäten in Azure Synapse Analytics.
Quelle
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Datenspeichertyp | Ihr Datenspeichertyp | Extern | Ja | / |
Verbindung | Ihre Verbindung mit dem Quelldatenspeicher | < Ihre Verbindung > | Ja | Verbindung |
Verbindungstyp | Ihr Quellverbindungstyp. | Azure Synapse Analytics | Ja | / |
Verwendungsabfrage | Die Methode zum Lesen von Daten. | • Tabelle • Abfrage • Gespeicherte Prozedur |
Ja | • typeProperties (unter typeProperties ->source )– Schema – Tabelle • sqlReaderQuery • sqlReaderStoredProcedureName storedProcedureParameters - name - Wert |
Abfragetimeout | Der Timeout für die Abfragebefehlsausführung beträgt standardmäßig 120 Minuten. | Zeitraum | Nein | queryTimeout |
Isolationsstufe | Gibt das Sperrverhalten für Transaktionen für die SQL-Quelle an. | • Keine • Lesen zugesichert • Lesen nicht zugesichert • Wiederholbarer Lesevorgang • Serializable • Snapshot |
Nein | isolationLevel: • ReadCommitted • ReadUncommitted • RepeatableRead • Serializable • Snapshot |
Partitionsoption | Die Datenpartitionierungsoptionen, mit denen Daten aus Azure SQL-Datenbank geladen werden. | • Keine • Physische Partitionen der Tabelle • Dynamischer Bereich – Partitionsspaltenname – Partitionsobergrenze – Partitionsuntergrenze |
Nein | partitionOption: • PhysicalPartitionsOfTable • DynamicRange partitionSettings: – partitionColumnName – partitionUpperBound – partitionLowerBound |
Zusätzliche Spalten | Fügen Sie zusätzliche Datenspalten hinzu, um den relativen Pfad oder statischen Wert der Quelldateien zu speichern. Für Letzteres wird ein Ausdruck unterstützt. | • Name • Wert |
Nein | additionalColumns: • Name • Wert |
Destination
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Datenspeichertyp | Ihr Datenspeichertyp | Extern | Ja | / |
Verbindung | Ihre Verbindung mit dem Zieldatenspeicher. | < Ihre Verbindung > | Ja | Verbindung |
Verbindungstyp | Ihr Zielverbindungstyp. | Azure Synapse Analytics | Ja | / |
Tabellenoption | Ihre Zieldatentabellenoption. | • Vorhandene verwenden • Tabelle automatisch erstellen |
Ja | • typeProperties (unter typeProperties ->sink )– Schema – Tabelle • tableOption: – autoCreate typeProperties (unter typeProperties ->sink )– Schema – Tabelle |
Kopiermethode | Die zum Kopieren von Daten verwendete Methode. | • Copy-Befehl • PolyBase • Masseneinfügen • Upsert |
Nein | / |
Bei Auswahl des Copy-Befehls | Verwenden Sie die COPY-Anweisung, um Daten aus dem Azure-Speicher in Azure Synapse Analytics oder einen SQL-Pool zu laden. | / | Nein. Beim Verwenden von COPY anwenden. |
allowCopyCommand: true copyCommandSettings |
Standardwerte | Gibt die Standardwerte für die einzelnen Zielspalten in Azure Synapse Analytics an. Die Standardwerte in der Eigenschaft überschreiben die in Data Warehouse festgelegte DEFAULT-Einschränkung, und die Identitätsspalte darf keinen Standardwert haben. | < Standardwerte > | Nein | defaultValues: – columnName – defaultValue |
Weitere Optionen | Zusätzliche Optionen, die direkt in der WITH-Klausel in der COPY-Anweisung an eine COPY-Anweisung in Azure Synapse Analytics übergeben werden. Geben Sie den Wert so an, wie er gemäß den Anforderungen der COPY-Anweisung erforderlich ist. | < weitere Optionen > | Nein | additionalOptions: – <Eigenschaftsname>: <Wert> |
Bei Auswahl von PolyBase | PolyBase ist ein Mechanismus mit hohem Durchsatz. Verwenden Sie die Option, um große Datenmengen in Azure Synapse Analytics oder einen SQL-Pool zu laden. | / | Nein. Beim Verwenden von PolyBase anwenden. |
allowPolyBase: true polyBaseSettings |
Ablehnungstyp | Der Typ des Ablehnungswerts. | • Wert • Prozentsatz |
Nein | rejectType: - Wert – Prozentsatz |
Ablehnungswert | Die Anzahl oder der Prozentsatz von Zeilen an, die abgelehnt werden können, bevor die Abfrage fehlschlägt. | 0 (Standard), 1, 2 usw. | Nein | rejectValue |
Ablehnungsbeispielwert | Gibt die Anzahl von Zeilen an, die abgerufen werden, bevor PolyBase den Prozentsatz der abgelehnten Zeilen neu berechnet. | 1, 2 usw. | Ja, wenn Sie Prozentsatz als Ablehnungstyp angeben | rejectSampleValue |
Standardtyp verwenden | Geben Sie an, wie fehlende Werte in durch Trennzeichen getrennten Textdateien behandelt werden sollen, wenn PolyBase Daten aus der Textdatei abruft. Weitere Informationen zu dieser Eigenschaft finden Sie im Abschnitt zu Argumenten im Thema CREATE EXTERNAL FILE FORMAT (Transact-SQL). | Aktiviert (Standardwert) oder deaktiviert. | Nein | useTypeDefault: TRUE (Standardwert) oder FALSE |
Bei Auswahl von Masseneinfügen | Daten werden in einem Masseneinfügevorgang das Ziel eingefügt. | / | Nein | writeBehavior: Insert |
Tabellensperre für Masseneinfügung | Verwenden Sie diese Einstellung, um die Kopierleistung während eines Masseneinfügevorgangs in eine Tabelle ohne Index von mehreren Clients aus zu verbessern. Weitere Informationen finden Sie unter BULK INSERT (Transact-SQL). | Aktiviert oder deaktiviert (Standardwert) | Nein | sqlWriterUseTableLock: TRUE oder FALSE (Standardwert) |
Bei Auswahl von Upsert | Geben Sie die Gruppe der Einstellungen für das Schreibverhalten an, wenn Sie für Ihre Daten ein Upsert im Ziel ausführen möchten. | / | Nein | writeBehavior: Upsert |
Schlüsselspalten | Wählen Sie aus, anhand welcher Spalte ermittelt wird, ob eine Zeile aus der Quelle mit einer Zeile aus dem Ziel übereinstimmt. | < Spaltenname > | Nein | upsertSettings: – keys: < Spaltenname > – interimSchemaName |
Tabellensperre für Masseneinfügung | Verwenden Sie diese Einstellung, um die Kopierleistung während eines Masseneinfügevorgangs in eine Tabelle ohne Index von mehreren Clients aus zu verbessern. Weitere Informationen finden Sie unter BULK INSERT (Transact-SQL). | Aktiviert oder deaktiviert (Standardwert) | Nein | sqlWriterUseTableLock: TRUE oder FALSE (Standardwert) |
Skript vor Kopiervorgang | Ein Skript für die Kopieraktivität, das bei jeder Ausführung vor dem Schreiben von Daten in eine Zieltabelle ausgeführt werden soll. Sie können diese Eigenschaft nutzen, um die vorab geladenen Daten zu bereinigen. | <Skript vor Kopiervorgang> (Zeichenfolge) |
Nein | preCopyScript |
Zeitlimit für Batchschreibvorgang | Die Wartezeit, bis der Batch-Einfügevorgang beendet ist, bevor er eine Zeitüberschreitung verursacht. Der zulässige Wert ist timespan. Der Standardwert lautet „00:30:00“ (30 Minuten). | Zeitraum | Nein | writeBatchTimeout |
Schreibbatchgröße | Die Anzahl der Zeilen, die pro Batch in die SQL-Tabelle eingefügt werden sollen. Standardmäßig bestimmt der Dienst die geeignete Batchgröße dynamisch auf der Grundlage der Zeilengröße. | < Anzahl von Zeilen > (Integer) |
Nein | writeBatchSize |
Maximal zulässige Anzahl paralleler Verbindungen | Die Obergrenze gleichzeitiger Verbindungen mit dem Datenspeicher während der Aktivitätsausführung. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten. | < Obergrenze für gleichzeitige Verbindungen > (Integer) |
Nein | maxConcurrentConnections |
Analyse von Leistungsmetriken deaktivieren | Diese Einstellung wird verwendet, um Metriken wie DTU, DWU, RU usw. für die Optimierung der Kopierleistung und Empfehlungen zu sammeln. Wenn dieses Verhalten problematisch sein könnte, aktivieren Sie dieses Kontrollkästchen. | aktivieren oder deaktivieren (Standard) | Nein | disableMetricsCollection: TRUE oder FALSE (Standardwert) |