Instalace závislostí poznámkového bloku

Závislosti Pythonu pro bezserverové poznámkové bloky můžete nainstalovat pomocí bočního panelu Prostředí . Tento panel poskytuje jedno místo pro úpravy, zobrazení a export požadavků na knihovnu poznámkového bloku. Tyto závislosti je možné přidat pomocí základního prostředí nebo jednotlivě.

Informace o úkolech, které nejsou poznámkovými bloky, najdete v tématu Konfigurace prostředí a závislostí pro úlohy, které nejsou poznámkovými bloky.

Důležité

Neinstalujte PySpark ani žádnou knihovnu, která nainstaluje PySpark jako závislost na bezserverových poznámkových blocích. Tím zastavíte relaci a výsledkem bude chyba. Pokud k tomu dojde, resetujte své prostředí.

Konfigurace základního prostředí

Základní prostředí je soubor YAML uložený jako soubor pracovního prostoru nebo na svazku katalogu Unity, který určuje další závislosti prostředí. Základní prostředí je možné sdílet mezi poznámkovými bloky. Konfigurace základního prostředí:

1. Vytvořte soubor YAML, který definuje nastavení pro virtuální prostředí Pythonu. Následující příklad YAML, který je založen na specifikaci prostředí projektů MLflow, definuje základní prostředí s několika závislostmi knihovny:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - my-library==6.1
     - "/Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl"
     - git+https://github.com/databricks/databricks-cli
   

2. Nahrajte soubor YAML jako soubor pracovního prostoru nebo do svazku katalogu Unity. Viz Import souboru nebo nahrání souborů do svazku katalogu Unity.

3. Napravo od poznámkového bloku kliknutím na tlačítko rozbalte panel Prostředí . Toto tlačítko se zobrazí jenom v případě, že je poznámkový blok připojený k bezserverovému výpočetnímu prostředí.

4. Do pole Základní prostředí zadejte cestu nahraného souboru YAML nebo na něj přejděte a vyberte ho.

5. Klikněte na tlačítko Použit. Tím se nainstalují závislosti ve virtuálním prostředí poznámkového bloku a restartuje proces Pythonu.

Uživatelé mohou přepsat závislosti zadané v základním prostředí instalací závislostí jednotlivě.

Konfigurace prostředí poznámkového bloku

Závislosti můžete také nainstalovat do poznámkového bloku připojeného k bezserverovému výpočetnímu prostředí pomocí karty Závislosti na panelu Prostředí :

1. Napravo od poznámkového bloku kliknutím na tlačítko rozbalte panel Prostředí . Toto tlačítko se zobrazí jenom v případě, že je poznámkový blok připojený k bezserverovému výpočetnímu prostředí.
2. V rozevíracím seznamu Verze klienta vyberte image klienta. Viz Bezserverové klientské image. Databricks doporučuje vybrat nejnovější verzi, abyste získali nejaktuálnější funkce poznámkového bloku.
3. V části Závislosti klepněte na tlačítko Přidat závislost a zadejte cestu závislosti knihovny do pole. Závislost můžete zadat v libovolném formátu, který je platný v souboru requirements.txt .
4. Klikněte na tlačítko Použit. Tím se nainstalují závislosti ve virtuálním prostředí poznámkového bloku a restartuje proces Pythonu.

Poznámka:

Úloha využívající bezserverové výpočetní prostředky před spuštěním kódu poznámkového bloku nainstaluje specifikaci prostředí poznámkového bloku. To znamená, že při plánování poznámkových bloků jako úloh není potřeba přidávat závislosti. Viz Konfigurace prostředí a závislostí.

Zobrazení nainstalovaných závislostí a protokolů pip

Chcete-li zobrazit nainstalované závislosti, klepněte na tlačítko Nainstalováno na bočním panelu Prostředí poznámkového bloku. Protokoly instalace pipu pro prostředí poznámkového bloku jsou k dispozici také kliknutím na protokoly Pip v dolní části panelu.

Resetování prostředí

Pokud je poznámkový blok připojený k bezserverovému výpočetnímu prostředí, Databricks automaticky ukládá obsah virtuálního prostředí poznámkového bloku do mezipaměti. To znamená, že při otevření existujícího poznámkového bloku obvykle není nutné přeinstalovat závislosti Pythonu zadané na panelu prostředí , i když byl odpojen z důvodu nečinnosti.

Ukládání do mezipaměti virtuálního prostředí Pythonu platí také pro úlohy. To znamená, že následná spuštění úloh jsou rychlejší, protože požadované závislosti jsou již k dispozici.

Poznámka:

Pokud změníte implementaci vlastního balíčku Pythonu použitého v úloze na bezserverové verzi, musíte také aktualizovat její číslo verze, aby úlohy mohly vyzvednout nejnovější implementaci.

Pokud chcete vymazat mezipaměť prostředí a provést novou instalaci závislostí zadaných na panelu Prostředí poznámkového bloku připojeného k bezserverovému výpočetnímu prostředí, klikněte na šipku vedle možnosti Použít a potom klikněte na tlačítko Obnovit prostředí.

Poznámka:

Pokud instalujete balíčky, které přeruší nebo změní základní poznámkový blok nebo prostředí Apache Spark, resetujte virtuální prostředí. Odpojení poznámkového bloku od bezserverového výpočetního prostředí a jeho opětovné připojení nemusí nutně vymazat celou mezipaměť prostředí.

Konfigurace prostředí a závislostí pro úlohy, které nejsou poznámkovými bloky

Pro jiné podporované typy úloh, jako je skript Pythonu, kolo Pythonu nebo úlohy dbt, obsahuje výchozí prostředí nainstalované knihovny Pythonu. Pokud chcete zobrazit seznam nainstalovaných knihoven, přečtěte si část Nainstalované knihovny Pythonu verze klienta, kterou používáte. Viz Bezserverové klientské image. Pokud úloha vyžaduje knihovnu Pythonu, která není nainstalovaná, můžete knihovnu nainstalovat ze souborů pracovního prostoru, svazků katalogu Unity nebo veřejného úložiště balíčků. Přidání knihovny při vytváření nebo úpravě úkolu:

1. V rozevírací nabídce Prostředí a knihovny klikněte vedle výchozího prostředí nebo klikněte na + Přidat nové prostředí.

   

2. V rozevíracím seznamu Verze klienta vyberte image klienta. Viz Bezserverové klientské image. Databricks doporučuje vybrat nejnovější verzi, abyste získali nejaktuálnější funkce.

3. V dialogovém okně Konfigurovat prostředí klikněte na + Přidat knihovnu.

4. V rozevírací nabídce v části Knihovny vyberte typ závislosti.

5. Do textového pole Cesta k souboru zadejte cestu ke knihovně.

• Pro kolo Pythonu v souboru pracovního prostoru by měla být cesta absolutní a začínat na /Workspace/.

• Pro kolo Pythonu ve svazku katalogu Unity by měla být /Volumes/<catalog>/<schema>/<volume>/<path>.whlcesta .

• requirements.txt Pro soubor vyberte PyPi a zadejte -r /path/to/requirements.txt.

  

1. Chcete-li přidat další knihovnu, klikněte na tlačítko Potvrdit nebo přidat knihovnu.
2. Pokud přidáváte úkol, klikněte na Vytvořit úkol. Pokud upravujete úkol, klikněte na Uložit úkol.

Konfigurace výchozích úložišť balíčků Pythonu

Důležité

Tato funkce je ve verzi Public Preview.

Správci můžou nakonfigurovat privátní nebo ověřené úložiště balíčků v rámci pracovních prostorů jako výchozí konfiguraci pip pro bezserverové poznámkové bloky i bezserverové úlohy. To umožňuje uživatelům instalovat balíčky z interních úložišť Pythonu bez explicitního definování index-url nebo extra-index-url. Pokud jsou ale tyto hodnoty zadané v kódu nebo v poznámkovém bloku, mají přednost před výchozími hodnotami pracovního prostoru.

Tato konfigurace využívá tajných kódů Databricks k bezpečnému ukládání a správě adres URL a přihlašovacích údajů úložiště. Správci mohou nakonfigurovat nastavení pomocí předdefinovaného oboru tajných kódů a rozhraní příkazového řádku Databricks příkazy tajných kódů nebo rozhraní REST API.

Pokud chcete nakonfigurovat výchozí úložiště balíčků Pythonu, vytvořte předdefinovaný obor tajných kódů a nakonfigurujte přístupová oprávnění a přidejte tajné kódy úložiště balíčků.

Předdefinovaný název tajné oblasti

Správci pracovního prostoru můžou nastavit výchozí adresy URL indexu pip nebo adresy URL extra indexu spolu s ověřovacími tokeny a tajnými kódy v určeném oboru tajných kódů v rámci předdefinovaných klíčů:

• Název oboru tajného kódu: databricks-package-management
• Tajný klíč pro adresu URL indexu: pip-index-url
• Tajný klíč pro extra-index-urls: pip-extra-index-urls
• Tajný klíč pro obsah certifikace SSL: pip-cert

Vytvoření prostoru tajných údajů

Obor tajných kódů je možné vytvořit pomocí rozhraní příkazového řádku Databricks příkazů tajných kódů neborozhraní REST API . Po vytvoření oboru tajných kódů nakonfigurujte seznamy ACL tak, aby všem uživatelům pracovního prostoru udělily přístup pro čtení. Tím zajistíte, že úložiště zůstane zabezpečené a nebude možné ho měnit jednotlivými uživateli.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Přidejte tajemství úložiště Python balíčků

Přidejte podrobnosti o úložišti balíčků Pythonu pomocí předdefinovaných názvů tajných klíčů.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Úprava nebo odstranění tajných kódů privátního úložiště PyPI

K úpravě tajných kódů úložiště PyPI použijte příkaz put-secret. Pokud chcete odstranit tajné kódy úložiště PyPI, použijte delete-secret, jak je znázorněno níže:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete scope
databricks secrets delete-scope databricks-package-management

Poznámka:

Úpravy nebo odstranění tajných kódů se použijí po opětovném připojení bezserverového výpočetního prostředí k poznámkovým blokům nebo opětovnému spuštění úloh bez serveru.