Een gekoppelde service maken voor Azure Databricks
Als u notebooks wilt uitvoeren in een Azure Databricks-werkruimte, moet de Azure Data Factory-pijplijn verbinding kunnen maken met de werkruimte; waarvoor verificatie is vereist. Als u deze geverifieerde verbinding wilt inschakelen, moet u twee configuratietaken uitvoeren:
- Genereer een toegangstoken voor uw Azure Databricks-werkruimte.
- Maak een gekoppelde service in uw Azure Data Factory-resource die gebruikmaakt van het toegangstoken om verbinding te maken met Azure Databricks.
Een toegangstoken genereren
Een toegangstoken biedt een verificatiemethode voor Azure Databricks als alternatief voor referenties in de vorm van een gebruikersnaam en wachtwoord. U kunt toegangstokens genereren voor toepassingen, waarbij een verloopperiode wordt opgegeven waarna het token opnieuw moet worden gegenereerd en bijgewerkt in de clienttoepassingen.
Als u een Access-token wilt maken, gebruikt u de optie Nieuw token genereren op het tabblad Ontwikkelaars van de pagina Gebruikers Instellingen in de Azure Databricks-portal.
Een gekoppelde service maken
Als u vanuit Azure Data Factory verbinding wilt maken met Azure Databricks, moet u een gekoppelde service maken voor Azure Databricks Compute. U kunt een gekoppelde service maken op de pagina Gekoppelde services in de sectie Beheren van Azure Data Factory Studio.
Wanneer u een gekoppelde Azure Databricks-service maakt, moet u de volgende configuratie-instellingen opgeven:
| Instelling | Omschrijving |
|---|---|
| Naam | Een unieke naam voor de gekoppelde service |
| Beschrijving | Een zinvolle beschrijving |
| Integration Runtime | De integratieruntime die wordt gebruikt voor het uitvoeren van activiteiten in deze gekoppelde service. Zie Integration Runtime in Azure Data Factory voor meer informatie. |
| Azure-abonnement | Het Azure-abonnement waarin Azure Databricks is ingericht |
| Databricks-werkruimte | De Azure Databricks-werkruimte |
| Cluster | Het Spark-cluster waarop de activiteitscode wordt uitgevoerd. U kunt Azure Databricks dynamisch een taakcluster op aanvraag inrichten of u kunt een bestaand cluster in de werkruimte opgeven. |
| Authentication type | Hoe de gekoppelde verbinding wordt geverifieerd door Azure Databricks. Als u bijvoorbeeld een toegangstoken gebruikt (in dat geval moet u het toegangstoken opgeven dat u hebt gegenereerd voor uw werkruimte). |
| Clusterconfiguratie | De Runtime-versie van Databricks, python-versie, het type werkknooppunt en het aantal werkknooppunten voor uw cluster. |