Tâche de script Python pour les travaux.
Utilisez la tâche Script Python pour exécuter un fichier Python.
Configurer une tâche de script Python
Avant de commencer, vous devez charger votre script Python dans un emplacement accessible à l’utilisateur qui configure le travail. Databricks recommande d’utiliser des fichiers d’espace de travail pour les scripts Python. Consultez l’article Que sont les fichiers d’espace de travail ?.
Remarque
L’interface utilisateur des travaux affiche les options de manière dynamique en fonction d’autres paramètres configurés.
Databricks recommande de ne pas stocker du code ou des données à l’aide de racine ou de montages DBFS. Vous pouvez plutôt migrer des scripts Python vers des volumes u des fichiers d’espace de travail ou utiliser des URI pour accéder au stockage d’objets cloud.
Pour commencer le flux afin de configurer une tâche Python script :
- Accédez à l’onglet Tâches de l’interface utilisateur des travaux.
- Dans le menu déroulant Type, sélectionnez
Python script.
Configurer la source
Dans le menu déroulant Source, sélectionnez un emplacement pour le script Python à l’aide de l’une des options suivantes.
Espace de travail
Utilisez Espace de travail pour configurer un script Python stocké à l’aide de fichiers d’espace de travail.
- Cliquez sur le champ Chemin d’accès. La boîte de dialogue Sélectionner le fichier Python s’affiche.
- Accédez au script Python, cliquez pour mettre le fichier en surbrillance, puis cliquez sur Confirmer.
Remarque
Vous pouvez utiliser cette option pour configurer une tâche sur un script Python stocké dans un dossier Git Databricks. Databricks recommande d’utiliser l’option Fournisseur Git et un référentiel Git distant pour les ressources de version planifiées avec des travaux.
DBFS/ADLS
Utilisez DBFS/ADLS pour configurer un script Python stocké dans un volume, un emplacement de stockage d’objets cloud ou la racine DBFS.
Databricks recommande de stocker des scripts Python dans des volumes Unity Catalog ou un stockage d’objet cloud.
Dans le champ Chemin d’accès, entrez l’URI de votre script Python. Par exemple, /Volumes/path/to/script.py ou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/script.py.
Fournisseur Git
Utilisez Fournisseur Git pour configurer un script Python stocké dans un référentiel Git distant.
Les options affichées par l’interface utilisateur dépendent de la configuration ou non d’un fournisseur Git à un autre emplacement. Un seul référentiel Git distant peut être utilisé pour toutes les tâches d’un travail. Consultez Utiliser Git avec des projets.
Le champ Chemin d’accès s’affiche une fois que vous avez configuré une référence Git.
Entrez le chemin d’accès relatif de votre script Python, par exemple etl/bronze/ingest.py.
Important
Lorsque vous entrez le chemin d’accès relatif, ne commencez pas par / ou ./. Par exemple, si le chemin d’accès absolu du code Python auquel vous souhaitez accéder est /etl/bronze/ingest.py, entrez etl/bronze/ingest.py dans le champ Chemin d’accès.
Configurer des bibliothèques de calcul et dépendantes
- Utilisez Capacité de calcul pour sélectionner ou configurer un cluster qui prend en charge la logique dans votre script.
- Si vous utilisez la capacité de calcul
Serverless, utilisez le champ Environnement et bibliothèques pour sélectionner, modifier ou ajouter un nouvel environnement. Consultez Installer les dépendances de notebook. - Pour toutes les autres configurations de calcul, cliquez sur + Ajouter sous Bibliothèques dépendantes. La boîte de dialogue Ajouter une bibliothèque dépendante apparaît.
- Vous pouvez sélectionner une bibliothèque existante ou en charger une nouvelle.
- Vous pouvez uniquement utiliser des bibliothèques stockées dans un emplacement pris en charge par vos configurations de calcul. Voir Prise en charge des bibliothèques Python.
- Chaque source de bibliothèque présente un flux différent pour la sélection ou le chargement d’une bibliothèque. Consultez Bibliothèques.
Finaliser la configuration du travail
- (Facultatif) Configurez Paramètres comme liste de chaînes transférées en tant qu’arguments de l’interface de ligne de commande au script Python. Consultez Configurer les paramètres de tâche.
- Cliquez sur Enregistrer la tâche.