Sdílet prostřednictvím

Použití rozhraní Livy API k odesílání a spouštění úloh Sparku

  • Článek

Poznámka:

Rozhraní API Livy for Fabric Datoví technici ing je ve verzi Preview.

Platí pro:✅ Datoví technici ing a Datová Věda v Microsoft Fabric

Začněte s rozhraním Api Livy pro Prostředky infrastruktury Datoví technici vytvořením lakehouse; ověřováním pomocí tokenu aplikace Microsoft Entra; odešlete dávkové úlohy nebo úlohy relací ze vzdáleného klienta do výpočetních prostředků Fabric Sparku. Zjistíte koncový bod rozhraní Livy API; odeslat úlohy; a sledovat výsledky.

Požadavky

Volba klienta REST API

K interakci s koncovými body rozhraní REST API můžete použít různé programovací jazyky nebo klienty grafického uživatelského rozhraní. V tomto článku používáme visual Studio Code. Visual Studio Code musí být nakonfigurované s jupyter Notebooks, PySpark a knihovnou MSAL (Microsoft Authentication Library) pro Python.

Autorizace požadavků rozhraní Livy API

Pokud chcete pracovat s rozhraními API fabric, včetně rozhraní Api Livy, musíte nejprve vytvořit aplikaci Microsoft Entra a získat token. Aplikace musí být zaregistrovaná a nakonfigurovaná adekvátně, aby prováděla volání rozhraní API proti prostředkům infrastruktury. Další informace najdete v tématu Registrace aplikace na platformě Microsoft Identity Platform.

Ke spouštění úloh Livy je potřeba mnoho oprávnění oboru Microsoft Entra. V tomto příkladu se používá jednoduchý kód Sparku + přístup k úložišti + SQL:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Item.ReadWrite.All
  • Lakehouse.Execute.All
  • Lakehouse.Read.All
  • Workspace.ReadWrite.All

Snímek obrazovky s oprávněními rozhraní Livy API v Centru pro správu Microsoft Entra

Poznámka:

Během období Public Preview přidáme několik dalších podrobných oborů a pokud použijete tento přístup, při přidání těchto dalších oborů se aplikace Livy přeruší. Zkontrolujte prosím tento seznam, protože se aktualizuje o další obory.

Někteří zákazníci chtějí podrobnější oprávnění než předchozí seznam. Můžete odebrat Item.ReadWrite.All a nahradit těmito podrobnějšími oprávněními oboru:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Lakehouse.Execute.All
  • Lakehouse.ReadWrite.All
  • Workspace.ReadWrite.All
  • Notebook.ReadWrite.All
  • SparkJobDefinition.ReadWrite.All
  • MLModel.ReadWrite.All
  • MLExperiment.ReadWrite.All
  • Dataset.ReadWrite.All

Při registraci aplikace budete potřebovat ID aplikace (klienta) i ID adresáře (tenanta).

Snímek obrazovky s přehledem aplikace Rozhraní API Livy v Centru pro správu Microsoft Entra

Ověřený uživatel volající rozhraní Livy API musí být členem pracovního prostoru, kde se nacházejí položky rozhraní API i zdroje dat s rolí Přispěvatel. Další informace najdete v tématu Udělení přístupu uživatelům k pracovním prostorům.

Zjištění koncového bodu rozhraní API Fabric Livy

Pro přístup ke koncovému bodu Livy se vyžaduje artefakt Lakehouse. Po vytvoření lakehouse se koncový bod rozhraní Livy API může nacházet na panelu nastavení.

Snímek obrazovky znázorňující koncové body rozhraní API Livy v nastavení Lakehouse

Koncový bod rozhraní Livy API by se řídil tímto vzorem:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

Adresa URL se připojí buď <s relacemi> , nebo <dávkami> v závislosti na tom, co zvolíte.

Integrace s prostředími infrastruktury

Pro každý pracovní prostor Prostředků infrastruktury se zřídí výchozí počáteční fond. Spuštění veškerého kódu Sparku ve výchozím nastavení používá tento počáteční fond. Pomocí prostředí Infrastruktury můžete přizpůsobit úlohy Sparku rozhraní Livy API.

Stáhněte soubory Swagger Livy API

Úplné soubory swagger pro Livy API rozhraní jsou zde k dispozici.

Odeslání úloh rozhraní Livy API

Nyní, když je nastavení rozhraní Livy API dokončeno, můžete odeslat dávkové úlohy nebo relační úlohy.

Jak monitorovat historii požadavků

Pomocí centra monitorování můžete zobrazit předchozí odeslání rozhraní API Livy a ladit případné chyby odeslání.

snímek obrazovky s předchozími odesláními rozhraní Livy API v centru monitorování

Související obsah