Sdílet prostřednictvím

Správa závislostí Pythonu pro kanály Delta Live Tables

  • Článek

Delta Live Tables podporují externí závislosti ve vašich pipelinech. Databricks doporučuje k instalaci balíčků Pythonu použít jeden ze dvou vzorů:

  1. %pip install Pomocí příkazu nainstalujte balíčky pro všechny zdrojové soubory v kanálu.
  2. Importujte moduly nebo knihovny ze zdrojového kódu uloženého v souborech pracovního prostoru. Viz Import modulů Pythonu ze složek Gitu nebo souborů pracovního prostoru.

Delta Live Tables také podporují použití globálních a na cluster zaměřených inicializačních skriptů . Tyto externí závislosti, zejména inicializační skripty, ale zvyšují riziko problémů s upgrady modulu runtime. Pokud chcete tato rizika zmírnit, minimalizujte používání inicializačních skriptů ve vašich kanálech. Pokud vaše zpracování vyžaduje inicializační skripty, automatizujte testování kanálu, abyste včas zjistili problémy. Pokud používáte inicializační skripty, databricks doporučuje zvýšit frekvenci testování.

Důležité

Vzhledem k tomu, že knihovny JVM nejsou podporovány v kanálech Delta Live Tables, nepoužívejte inicializační skript k instalaci knihoven JVM. Pomocí inicializačního skriptu ale můžete nainstalovat další typy knihoven, jako jsou knihovny Pythonu.

Knihovny Pythonu

K zadání externích knihoven Pythonu %pip install použijte příkaz magic. Při spuštění aktualizace spustí Delta Live Tables všechny buňky obsahující %pip install příkaz před spuštěním definic tabulek. Každý poznámkový blok Pythonu, který je součástí potrubí, sdílí prostředí knihovny a má přístup ke všem nainstalovaným knihovnám.

Důležité

  • %pip install příkazy musí být v samostatné buňce v horní části poznámkového bloku kanálu Delta Live Tables. Do buněk obsahujících %pip install příkazy nezahrnujte žádný jiný kód.
  • Protože každý poznámkový blok v kanálu sdílí prostředí knihovny, nemůžete v jednom kanálu definovat různé verze knihoven. Pokud zpracování vyžaduje různé verze knihovny, musíte je definovat v různých kanálech.

Následující příklad nainstaluje knihovnu numpy a zpřístupňuje ji globálně libovolnému poznámkovému bloku Pythonu v kanálu:

%pip install simplejson

Pokud chcete nainstalovat balíček kola Pythonu, přidejte do příkazu cestu kolečka Pythonu %pip install . Nainstalované balíčky typu wheel pro Python jsou dostupné pro všechny tabulky v datovém toku. Následující příklad nainstaluje soubor kola Pythonu s názvem dltfns-1.0-py3-none-any.whl ze svazku katalogu Unity:

%pip install /Volumes/my_catalog/my_schema/my_dlt_volume/dltfns-1.0-py3-none-any.whl

Viz Instalace balíčku kola Pythonu s %pip.

můžu v kanálu Delta Live Tables používat knihovny Scala nebo Java?

Ne, Delta Live Tables podporuje pouze SQL a Python. V kanálu nelze použít knihovny JVM. Instalace knihoven JVM způsobí nepředvídatelné chování a může dojít k přerušení s budoucími verzemi Delta Live Tables. Pokud váš kanál používá inicializační skript, musíte také zajistit, aby skript nenainstaloval knihovny JVM.