Herstellen einer Verbindung mit Syncsort
Wichtig
Dieses Feature befindet sich in der Public Preview.
Mit Syncsort können Sie Datensilos aufschlüsseln, indem Sie Legacydaten, Mainframedaten und IBM-Daten mit Azure Databricks integrieren. Sie können die Daten problemlos aus diesen Quellen per Pull in Delta Lake übertragen.
Führen Sie die folgenden Schritte aus, um Syncsort mit Azure Databricks zu verwenden.
Schritt 1: Generieren eines persönlichen Databricks-Zugriffstokens
Syncsort authentifiziert sich bei Azure Databricks mithilfe eines persönlichen Azure Databricks-Zugriffstokens.
Hinweis
Als bewährte Methode für die Sicherheit empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Anwendungen persönliche Zugriffstoken verwenden, die zu Dienstprinzipalen und nicht zu Benutzern des Arbeitsbereichs gehören. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.
Schritt 2: Einrichten eines Clusters zur Unterstützung von Integrationsanforderungen
Syncsort schreibt Daten in einen Azure Data Lake Storage-Pfad, und der Azure Databricks-Integrationscluster liest Daten von diesem Speicherort. Daher benötigt der Integrationscluster sicheren Zugriff auf den Azure Data Lake Storage-Pfad.
Sicherer Zugriff auf einen Azure Data Lake Storage-Pfad
Nutzen Sie für einen sicheren Zugriff auf Daten in Azure Data Lake Storage (ADLS) einen Zugriffsschlüssel für das Azure-Speicherkonto (empfohlen) oder einen Microsoft Entra ID-Dienstprinzipal.
Verwenden eines Zugriffsschlüssels für das Azure-Speicherkonto
Sie können einen Zugriffsschlüssel für das Speicherkonto auf dem Integrationscluster als Teil der Spark-Konfiguration konfigurieren. Stellen Sie sicher, dass das Speicherkonto Zugriff auf den ADLS-Container und das Dateisystem besitzt, die für das Staging von Daten verwendet werden, sowie auf den ADLS-Container und das Dateisystem, in denen Sie die Delta Lake-Tabellen schreiben möchten. Führen Sie die unter Herstellen einer Verbindung zu Azure Data Lake Storage Gen2 und Blob Storage beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Schlüssels zu konfigurieren.
Verwenden eines Microsoft Entra ID-Dienstprinzipals
Im Rahmen der Spark-Konfiguration können Sie einen Dienstprinzipal auf dem Azure Databricks-Integrationscluster konfigurieren. Stellen Sie sicher, dass der Dienstprinzipal Zugriff auf den ADLS-Container besitzt, der für das Staging von Daten verwendet wird, sowie auf den ADLS-Container, in den Sie die Delta-Tabellen schreiben möchten. Führen Sie die unter Zugreifen auf Azure Data Lake Storage Gen2 mit einem Dienstprinzipal beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Dienstprinzipals zu konfigurieren.
Angeben der Clusterkonfiguration
Legen Sie den Clustermodus auf Standard fest.
Legen Sie die Databricks Runtime-Version auf eine Databricks Runtime-Version fest.
Aktivieren Sie optimierte Schreibvorgänge und automatische Verdichtung, indem Sie Ihrer Spark-Konfiguration die folgenden Eigenschaften hinzufügen:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueKonfigurieren Sie Ihren Cluster je nach Ihren Integrations- und Skalierungsanforderungen.
Ausführliche Informationen zur Clusterkonfiguration finden Sie unter Computekonfigurationsreferenz.
Weitere Informationen zum Abrufen der JDBC-URL und des HTTP-Pfads finden Sie unter Abrufen von Verbindungsdetails für eine Azure Databricks-Computeressource.
Schritt 3: Abrufen der JDBC- und ODBC-Verbindungsdetails zum Herstellen einer Verbindung mit einem Cluster
Zum Herstellen einer Verbindung zwischen einem Azure Databricks-Cluster mit Syncsort benötigen Sie die folgenden JDBC/ODBC-Verbindungseigenschaften:
- JDBC-URL
- HTTP-Pfad
Schritt 4: Konfigurieren von Syncsort mit Azure Databricks
Wechseln Sie zur Anmeldeseite für Databricks und Connect for Big Data, und befolgen Sie die Anweisungen.