Dela via

Hantera Python-beroenden för Delta Live Tables pipelines

  • Artikel

Delta Live Tables stöder externa beroenden i dina pipelines. Databricks rekommenderar att du använder ett av två mönster för att installera Python-paket:

  1. %pip install Använd kommandot för att installera paket för alla källfiler i en pipeline.
  2. Importera moduler eller bibliotek från källkod som lagras i arbetsytefiler. Se Importera Python-moduler från Git-mappar eller arbetsytefiler.

Delta Live Tables stöder även användning av globala och klusteromfattande init-skript. Dessa externa beroenden, särskilt init-skript, ökar dock risken för problem med körningsuppgraderingar. Minimera användningen av init-skript i dina pipelines för att minimera dessa risker. Om bearbetningen kräver init-skript kan du automatisera testningen av din pipeline för att upptäcka problem tidigt. Om du använder init-skript rekommenderar Databricks att du ökar testfrekvensen.

Viktigt!

Eftersom JVM-bibliotek inte stöds i Delta Live Tables pipelines ska du inte använda ett init-skript för att installera JVM-bibliotek. Du kan dock installera andra bibliotekstyper, till exempel Python-bibliotek, med ett init-skript.

Python-bibliotek

Om du vill ange externa Python-bibliotek använder du det %pip install magiska kommandot. När en update startar kör Delta Live Tables alla celler som innehåller ett %pip install-kommando innan du kör några table definitioner. Varje Python-notebook-fil som ingår i pipelinen shares en biblioteksmiljö och har åtkomst till alla installerade bibliotek.

Viktigt!

  • %pip install-kommandon måste finnas i en separat cell överst i din Delta Live Tables-pipeline-notebook-fil. Ta inte med någon annan kod i celler som innehåller %pip install kommandon.
  • Eftersom varje notebook-fil i pipeline shares är en biblioteksmiljö kan du inte definiera olika biblioteksversioner i en enda pipeline. Om bearbetningen kräver olika biblioteksversioner måste du definiera dem i olika pipelines.

I följande exempel installeras numpy biblioteket och blir globalt tillgängligt för alla Python-notebook-filer i pipelinen:

%pip install simplejson

Om du vill installera ett Python-hjulpaket lägger du till Python-hjulsökvägen i %pip install kommandot . Installerade Python wheel-paket är tillgängliga för alla tables i pipelinen. I följande exempel installeras en Python-hjulfil med namnet dltfns-1.0-py3-none-any.whl från en Unity-Catalog volym:

%pip install /Volumes/my_catalog/my_schema/my_dlt_volume/dltfns-1.0-py3-none-any.whl

Se Installera ett Python-hjulpaket med %pip.

Kan jag använda Scala- eller Java-bibliotek i en Delta Live-Tables pipeline?

Nej, Delta Live Tables stöder endast SQL och Python. Du kan inte använda JVM-bibliotek i en pipeline. Att installera JVM-bibliotek kommer att orsaka oförutsägbart beteende och kan sluta fungera med framtida Delta Live Tables-versioner. Om din pipeline använder ett init-skript måste du också se till att JVM-bibliotek inte installeras av skriptet.