Erstellen eines verknüpften Diensts für Azure Databricks
Um Notebooks in einem Azure Databricks-Arbeitsbereich auszuführen, muss die Azure Data Factory-Pipeline eine Verbindung mit dem Arbeitsbereich herstellen können. Dafür ist Authentifizierung erforderlich. Um diese authentifizierte Verbindung zu aktivieren, müssen Sie zwei Konfigurationsaufgaben ausführen:
- Generieren Sie ein Zugriffstoken für Ihren Azure Databricks-Arbeitsbereich.
- Erstellen Sie einen verknüpften Dienst in Ihrer Azure Data Factory-Ressource, der das Zugriffstoken verwendet, um eine Verbindung mit Azure Databricks herzustellen.
Generieren eines Zugriffstokens
Ein Zugriffstoken bietet eine Authentifizierungsmethode für Azure Databricks als Alternative zu Anmeldeinformationen in Form eines Benutzernamens und Kennworts. Sie können Zugriffstoken für Anwendungen generieren und einen Ablaufzeitraum angeben, nach dem das Token neu erstellt und in den Clientanwendungen aktualisiert werden muss.
Um ein Zugriffstoken zu erstellen, verwenden Sie die Option Neues Token generieren auf der Registerkarte Entwickler der Seite Benutzereinstellungen im Azure Databricks-Portal.
Erstellen eines verknüpften Dienstes
Um eine Verbindung mit Azure Databricks aus Azure Data Factory herzustellen, müssen Sie einen verknüpften Dienst für Azure Databricks-Compute erstellen. Sie können einen verknüpften Dienst auf der Seite Verknüpfte Dienste im Abschnitt Verwalten von Azure Data Factory Studio erstellen.
Wenn Sie einen verknüpften Azure Databricks-Dienst erstellen, müssen Sie die folgenden Konfigurationseinstellungen angeben:
| Einstellung | BESCHREIBUNG |
|---|---|
| Name | Einen eindeutigen Namen für den verknüpften Dienst |
| Beschreibung | Eine aussagekräftige Beschreibung |
| Integrationslaufzeit | Die Integration Runtime, die zum Ausführen von Aktivitäten in diesem verknüpften Dienst verwendet wird. Weitere Informationen finden Sie unter Integration Runtime in Azure Data Factory. |
| Azure-Abonnement | Das Azure-Abonnement, in dem Azure Databricks bereitgestellt wird |
| Ein Databricks-Arbeitsbereich | Der Azure Databricks-Arbeitsbereich |
| Cluster | Der Spark-Cluster, auf dem der Aktivitätscode ausgeführt wird. Sie können Azure Databricks einen Auftragscluster dynamisch bereitstellen lassen, oder Sie können einen vorhandenen Cluster im Arbeitsbereich angeben. |
| Authentifizierungsart | Wie die verknüpfte Verbindung von Azure Databricks authentifiziert wird. Beispielsweise durch Verwenden eines Zugriffstokens (in diesem Fall müssen Sie das Zugriffstoken angeben, das Sie für Ihren Arbeitsbereich generiert haben). |
| Clusterkonfiguration | Die Databricks-Runtimeversion, die Python-Version, den Workerknotentyp und die Anzahl der Workerknoten für Ihren Cluster. |