Sdílet prostřednictvím

Transformace dat spuštěním poznámkového bloku Synapse

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Aktivita poznámkového bloku Azure Synapse v kanálu Synapse spouští poznámkový blok Synapse. Tento článek vychází z článku o aktivitách transformace dat, který představuje obecný přehled transformace dat a podporovaných transformačních aktivit. 

Vytvoření aktivity poznámkového bloku Synapse

Aktivitu poznámkového bloku Synapse můžete vytvořit přímo z plátna kanálu Synapse nebo z editoru poznámkových bloků. Aktivita poznámkového bloku Synapse běží ve fondu Sparku, který se vybere v poznámkovém bloku Synapse.

Přidání aktivity poznámkového bloku Synapse z plátna kanálu

Poznámkový blok Synapse přetáhněte do části Aktivity na plátno kanálu Synapse. Vyberte pole aktivity poznámkového bloku Synapse a v nastavení na kartě Konfigurace obsahu poznámkového bloku na aktuální aktivitu. Můžete vybrat existující poznámkový blok z aktuálního pracovního prostoru nebo přidat nový poznámkový blok.

Pokud vyberete existující poznámkový blok z aktuálního pracovního prostoru, můžete kliknutím na tlačítko Otevřít přímo otevřít stránku poznámkového bloku.

(Volitelné) Můžete také překonfigurovat fond Spark\Velikost exekutoru\Dynamicky přidělovat exekutory\Min executors\Max executors\Driver size in settings. Je třeba poznamenat, že zde překonfigurovaná nastavení nahradí nastavení konfigurace relace v poznámkovém bloku. Pokud v nastavení aktuální aktivity poznámkového bloku není nic nastavené, spustí se s nastavením relace konfigurace v daném poznámkovém bloku.

snímek obrazovky znázorňující aktivitu create-notebook-activity

Vlastnost Popis Povinní účastníci
Fond Sparku Odkaz na fond Spark. V seznamu můžete vybrat fond Apache Spark. Pokud je toto nastavení prázdné, spustí se ve fondu sparku samotného poznámkového bloku. No
Velikost exekutoru Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Spark pro relaci. No
Dynamicky přidělovat exekutory Toto nastavení se mapuje na vlastnost dynamického přidělení v konfiguraci Sparku pro přidělení exekutorů aplikací Sparku. No
Minimální exekutory Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. No
Maximální počet exekutorů Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. No
Velikost ovladače Počet jaderachch No

Poznámka:

Spouštění paralelních poznámkových bloků Sparku v kanálech Azure Synapse se zařadí do fronty a spustí se způsobem FIFO, pořadí úloh ve frontě odpovídá časovému pořadí, vypršení platnosti úlohy ve frontě je 3 dny. Všimněte si, že fronta pro poznámkový blok funguje jenom v kanálu Synapse.

Přidání poznámkového bloku do kanálu Synapse

Výběrem tlačítka Přidat do kanálu v pravém horním rohu přidejte poznámkový blok do existujícího kanálu nebo vytvořte nový kanál.

snímek obrazovky znázorňující doplněk poznámkového bloku do kanálu

Předávání parametrů

Určení buňky parametrů

Pokud chcete v poznámkovém bloku parametrizovat, vyberte tři tečky (...) a získejte přístup k dalším příkazům na panelu nástrojů buňky. Potom vyberte Přepnout buňku parametru a určete buňku jako buňku parametrů.

screenshot-showing-azure-notebook-toggle-parameter

Definujte parametry v této buňce. Může to být něco tak jednoduchého jako:

a = 1
b = 3
c = "Default Value"

Na tyto parametry můžete odkazovat v jiných buňkách a při spuštění poznámkového bloku použít výchozí hodnoty, které zadáte v buňce parametrů.

Když tento poznámkový blok spustíte z kanálu, Azure Data Factory vyhledá buňku parametrů a použije hodnoty, které jste zadali jako výchozí hodnoty parametrů předaných v době spuštění. Pokud přiřadíte hodnoty parametrů z kanálu, prováděcí modul přidá pod buňku parametrů novou buňku se vstupními parametry, které přepíšou výchozí hodnoty.

Přiřazení hodnot parametrů z kanálu

Jakmile vytvoříte poznámkový blok s parametry, můžete ho spustit z kanálu s aktivitou poznámkového bloku Synapse. Po přidání aktivity na plátno kanálu budete moct nastavit hodnoty parametrů v části Základní parametry na kartě Nastavení .

screenshot-showing-assign-a-parameter

Tip

Data Factory automaticky nenaplní parametry. Musíte je přidat ručně. Nezapomeňte použít stejný název jak v buňce parametrů v poznámkovém bloku, tak v základním parametru v kanálu.

Jakmile do aktivity přidáte parametry, služba Data Factory předá hodnoty zadané v aktivitě do poznámkového bloku a poznámkový blok se spustí s těmito novými hodnotami parametrů místo výchozích hodnot, které jste zadali v buňce parametrů.

Při přiřazování hodnot parametrů můžete použít jazyk výrazu kanálu nebo systémové proměnné.

Čtení výstupní hodnoty buňky poznámkového bloku Synapse

Výstupní hodnotu buňky poznámkového bloku si můžete přečíst v dalších aktivitách pomocí následujícího postupu:

  1. Voláním rozhraní MSsparkutils.notebook.exit API v aktivitě poznámkového bloku Synapse vrátíte hodnotu, kterou chcete zobrazit ve výstupu aktivity, například:

    mssparkutils.notebook.exit("hello world")

    Uložení obsahu poznámkového bloku a opakování kanálu bude výstup aktivity poznámkového bloku obsahovat hodnotu exitValue, kterou je možné využít pro následující aktivity v kroku 2.

  2. Čtení vlastnosti exitValue z výstupu aktivity poznámkového bloku Tady je ukázkový výraz, který slouží ke kontrole, jestli se výstupní hodnota načtená z výstupu aktivity poznámkového bloku rovná "hello world":

    snímek obrazovky znázorňující hodnotu read-exit-value

Spuštění jiného poznámkového bloku Synapse

Na jiné poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat prostřednictvím volání nástroje poznámkového bloku %run magic nebo mssparkutils. Obě podporují volání vnoření funkcí. Hlavní rozdíly těchto dvou metod, které byste měli zvážit na základě vašeho scénáře, jsou:

  • %run magic zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím %run notebook2 a poznámkový blok2 volá funkci mssparkutils.notebook.exit , zastaví se spuštění buňky v poznámkovém bloku1. %run magic doporučujeme použít, když chcete zahrnout soubor poznámkového bloku.
  • Nástroje poznámkového bloku mssparkutils volá odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné se nesdílí. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím mssparkutils.notebook.run("notebook2") a poznámkový blok2 volá funkci mssparkutils.notebook.exit , provádění buněk v poznámkovém bloku1 bude pokračovat. Pokud chcete poznámkový blok importovat, doporučujeme používat nástroje poznámkového bloku mssparkutils.

Zobrazit historii spuštění aktivit poznámkového bloku

Na kartě Monitorování přejděte na spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, abyste viděli historii spuštění.

Výběrem tlačítka Otevřít poznámkový blok zobrazíte nejnovější snímek spuštění poznámkového bloku, včetně vstupních i výstupních buněk.

Snímek obrazovky znázorňující historii aktivit poznámkového bloku

Otevření snímku poznámkového bloku:

Snímek obrazovky znázorňující otevřený snímek poznámkového bloku

Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit výběrem vstupního nebo výstupního tlačítka. Pokud váš kanál selhal s chybou uživatele, výběrem výstupu zkontrolujte pole výsledků a prohlédněte si podrobné trasování chyb uživatele.

Snímek obrazovky s podrobnostmi o chybě uživatele

Definice aktivity poznámkového bloku Synapse

Tady je ukázková definice JSON aktivity poznámkového bloku Synapse:

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Výstup aktivity poznámkového bloku Synapse

Tady je ukázkový json výstupu aktivity poznámkového bloku Synapse:

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Známé problémy

Pokud je název poznámkového bloku v aktivitě poznámkového bloku kanálu parametrizovaný, verze poznámkového bloku v nepublikovaném stavu se ve spuštění ladění nedá odkazovat.