Vývoj, spouštění a správa poznámkových bloků Microsoft Fabric
Poznámkový blok Microsoft Fabric je primární položkou kódu pro vývoj úloh Apache Sparku a experimentů strojového učení. Jedná se o webovou interaktivní plochu, kterou používají datoví vědci a datoví inženýři k psaní kódu, který využívá bohaté vizualizace a text Markdownu. Tento článek vysvětluje, jak vyvíjet poznámkové bloky s operacemi buněk kódu a spouštět je.
Vývoj poznámkových bloků
Poznámkové bloky se skládají z buněk, které jsou jednotlivé bloky kódu nebo textu, které je možné spouštět nezávisle nebo jako skupinu.
Poskytujeme bohaté operace pro vývoj poznámkových bloků:
- Přidání buňky
- Nastavení primárního jazyka
- Použití více jazyků
- IntelliSense ve stylu integrovaného vývojového prostředí
- Fragmenty kódu
- Přetažením vložíte fragmenty kódu.
- Přetažením vložíte obrázky.
- Formátování textové buňky pomocí tlačítek panelu nástrojů
- Zpět nebo znovu provést operaci buňky
- Přesunutí buňky
- Odstranění buňky
- Sbalení vstupu buňky
- Sbalení výstupu buňky
- Zabezpečení výstupu buňky
- Uzamknout nebo ukotvit buňku
- Obsah poznámkového bloku
- Posouvání Markdownu
- Vyhledání a nahrazení
Přidání buňky
Do poznámkového bloku můžete přidat novou buňku několika způsoby.
Najeďte myší na mezeru mezi dvěma buňkami a vyberte Kód nebo Markdown.
Používejte klávesové zkratky v režimu příkazů. Stisknutím klávesy A vložte buňku nad aktuální buňku. Stisknutím klávesy B vložte buňku pod aktuální buňku.
Nastavení primárního jazyka
Poznámkové bloky prostředků infrastruktury aktuálně podporují čtyři jazyky Apache Sparku:
- PySpark (Python)
- Spark (Scala)
- Spark SQL
- SparkR
Primární jazyk pro nové přidané buňky můžete nastavit z rozevíracího seznamu na horním panelu příkazů.
Použití více jazyků
V poznámkovém bloku můžete použít více jazyků zadáním příkazu magic jazyka na začátku buňky. Jazyk buňky můžete také přepnout z nástroje pro výběr jazyka. Následující tabulka uvádí příkazy magic pro přepínání jazyků buněk.
Příkaz Magic | Jazyk | Popis |
---|---|---|
%%pyspark | Python | Spusťte dotaz Pythonu s kontextem Apache Sparku. |
%%spark | Scala | Spusťte dotaz Scala na kontext Apache Sparku. |
%%sql | SparkSQL | Spusťte dotaz SparkSQL na kontext Apache Sparku. |
%%html | HTML | Spusťte dotaz HTML v kontextu Apache Sparku. |
%%sparkr | R | Spusťte dotaz R v kontextu Apache Sparku. |
IntelliSense ve stylu integrovaného vývojového prostředí
Poznámkové bloky prostředků infrastruktury jsou integrované s editorem Monaco, aby se do editoru buněk přenesla technologie IntelliSense ve stylu IDE. Zvýrazňování syntaxe, značka chyb a automatické dokončování kódu vám pomůžou rychle psát kód a identifikovat problémy.
Funkce IntelliSense jsou na různých úrovních vyspělosti pro různé jazyky. Následující tabulka ukazuje, co Prostředky infrastruktury podporují:
Jazyky | Zvýraznění syntaxe | Značka chyby syntaxe | Dokončování kódu syntaxe | Dokončování kódu proměnné | Dokončování kódu systémové funkce | Dokončování kódu funkce uživatele | Inteligentní odsazení | Skrytí kódu |
---|---|---|---|---|---|---|---|---|
PySpark (Python) | Ano | Ano | Ano | Ano | Ano | Ano | Ano | Ano |
Spark (Scala) | Ano | Ano | Ano | Ano | Ano | Ano | Ano | Ano |
SparkSQL | Ano | Ano | Ano | Ano | Ano | Ne | Ano | Ano |
SparkR | Ano | Ano | Ano | Ano | Ano | Ano | Ano | Ano |
Poznámka:
Abyste mohli používat dokončování kódu IntelliSense, musíte mít aktivní relaci Apache Sparku.
Fragmenty kódu
Poznámkové bloky Prostředků infrastruktury poskytují fragmenty kódu, které vám pomůžou snadno psát běžně používané vzory kódu, například:
- Čtení dat jako datového rámce Apache Spark
- Kreslení grafů pomocí knihovny Matplotlib
Fragmenty kódu se zobrazují v klávesových zkratkách ve stylu IDE, ve které je IntelliSense smíšený s dalšími návrhy. Obsah fragmentu kódu odpovídá jazyku buňky kódu. Dostupné fragmenty kódu můžete zobrazit zadáním fragmentu kódu. Můžete také zadat libovolné klíčové slovo a zobrazit seznam relevantních fragmentů kódu. Pokud například zadáte čtení, zobrazí se seznam fragmentů kódu pro čtení dat z různých zdrojů dat.
Přetažením vložíte fragmenty kódu.
Pomocí přetažení můžete pohodlně číst data z Průzkumníka Lakehouse. Zde je podporováno více typů souborů; Můžete pracovat s textovými soubory, tabulkami, obrázky atd. Můžete buď přetáhnout na existující buňku, nebo na novou buňku. Poznámkový blok vygeneruje fragment kódu odpovídajícím způsobem pro náhled dat.
Přetažením vložíte obrázky.
Přetažením můžete snadno vkládat obrázky z prohlížeče nebo místního počítače do buňky markdownu.
Formátování textové buňky pomocí tlačítek panelu nástrojů
K dokončení běžných akcí markdownu použijte tlačítka formátu na panelu nástrojů textové buňky.
Zpět nebo znovu provést operace s buňkami
Vyberte Zpět nebo Znovu, nebo stisknutím kláves Z nebo Shift+Z odvoláte nejnovější operace buněk. Můžete vrátit zpět nebo znovu provést až 10 nejnovějších historických operací buněk.
Podporované operace vrácení buněk zpět:
- Vložení nebo odstranění buňky Odstraněné operace můžete odvolat tak, že vyberete Vrátit zpět (textový obsah se zachová spolu s buňkou).
- Změnit pořadí buněk
- Přepněte parametr.
- Převod mezi buňkou kódu a buňkou Markdownu
Poznámka:
Operace v textu v buňce a operace komentování buněk kódu se nedají vrátit zpět. Můžete vrátit zpět nebo znovu provést až 10 nejnovějších historických operací buněk.
Přesunutí buňky
Můžete přetáhnout z prázdné části buňky a umístit ji na požadovanou pozici.
Vybranou buňku můžete také přesunout pomocí možnosti Přesunout nahoru a Přesunout dolů na pásu karet.
Odstranění buňky
Pokud chcete odstranit buňku, vyberte tlačítko odstranit na pravé straně buňky.
Můžete také použít klávesové zkratky v režimu příkazů. Stisknutím kombinace kláves Shift+D odstraníte aktuální buňku.
Sbalení vstupu buňky
Na panelu nástrojů buňky vyberte tři tečky (...) Další příkazy a skryjte vstup a sbalte vstup aktuální buňky. Pokud ho chcete znovu rozbalit, vyberte Zobrazit vstup , když je buňka sbalená.
Sbalení výstupu buňky
Na panelu nástrojů buňky vyberte tři tečky (...) Další příkazy a skryjte výstup a sbalte výstup aktuální buňky. Pokud ho chcete znovu rozbalit, vyberte Zobrazit výstup , když je výstup buňky sbalený.
Zabezpečení výstupu buňky
Pomocí rolí přístupu k datům OneLake (Preview) můžou uživatelé během dotazů poznámkového bloku nakonfigurovat přístup jenom ke konkrétním složkám v jezeře. Uživatelům bez přístupu ke složce nebo tabulce se během provádění dotazu zobrazí neautorizovaná chyba.
Důležité
Zabezpečení platí jenom při provádění dotazů a všechny buňky poznámkového bloku obsahující výsledky dotazu můžou zobrazit uživatelé, kteří nemají oprávnění spouštět dotazy na data přímo.
Uzamknout nebo ukotvit buňku
Operace uzamčení a ukotvení buněk umožňují, aby buňky byly spouštěny jen pro čtení nebo zastavily spouštění buněk kódu jednotlivě.
Sloučení a rozdělení buněk
Pomocí funkce Sloučit s předchozí buňkou nebo sloučit s další buňkou můžete pohodlně sloučit související buňky.
Když vyberete Rozdělit buňku , rozdělíte irelevantní příkazy na více buněk. Operace rozdělí kód podle pozice řádku kurzoru.
Obsah poznámkového bloku
Když vyberete Osnovy nebo Obsah, zobrazí se první záhlaví markdownu libovolné buňky markdownu v okně bočního panelu pro rychlou navigaci. Boční panel Osnovy se dá přizpůsobit a sbalit tak, aby se na obrazovku vešel co nejlépe. Výběrem tlačítka Obsah na panelu příkazů poznámkového bloku otevřete nebo skryjte boční panel.
Posouvání Markdownu
Možnost posouvání markdownu umožňuje skrýt buňky pod buňkou markdownu, která obsahuje nadpis. Buňka markdownu a její skryté buňky se při provádění operací s buňkami zachází stejně jako se sadou souvislých více vybraných buněk.
Vyhledání a nahrazení
Možnost najít a nahradit vám může pomoct najít a najít klíčová slova nebo výraz v obsahu poznámkového bloku. Cílový řetězec můžete také snadno nahradit novým řetězcem.
Spouštění poznámkových bloků
Buňky kódu můžete v poznámkovém bloku spouštět jednotlivě nebo najednou. Stav a průběh každé buňky se zobrazí v poznámkovém bloku.
Spuštění buňky
Kód v buňce můžete spustit několika způsoby.
Najeďte myší na buňku, kterou chcete spustit, a vyberte tlačítko Spustit buňku nebo stiskněte Ctrl+Enter.
Používejte klávesové zkratky v režimu příkazů. Stisknutím kombinace kláves Shift+Enter spusťte aktuální buňku a vyberte další buňku. Stisknutím kombinace kláves Alt+Enter spusťte aktuální buňku a vložte novou buňku.
Spuštění všech buněk
Výběrem tlačítka Spustit vše spustíte všechny buňky v aktuálním poznámkovém bloku v posloupnosti.
Spuštění všech buněk nad nebo pod
Rozbalte rozevírací seznam ze seznamu Spustit vše a potom výběrem možnosti Spustit buňky výše spusťte všechny buňky nad aktuálním pořadím. Výběrem možnosti Spustit buňky níže spustíte aktuální buňku a všechny buňky pod aktuálním pořadím.
Zrušení všech spuštěných buněk
Chcete-li zrušit spuštěné buňky nebo buňky čekající ve frontě, vyberte Zrušit vše .
Zastavit relaci
Zastavit relaci zruší spuštěné a čekající buňky a zastaví aktuální relaci. Úplně novou relaci můžete restartovat tak, že znovu vyberete možnost spuštění.
Referenční spuštění
Referenční informace o spuštění poznámkového bloku
Kromě referenčního rozhraní API pro použití poznámkových bloků můžete také pomocí %run <notebook name>
příkazu magic odkazovat na jiný poznámkový blok v kontextu aktuálního poznámkového bloku. Všechny proměnné definované v referenčním poznámkovém bloku jsou dostupné v aktuálním poznámkovém bloku. Příkaz %run
magic podporuje vnořené volání, ale nepodporuje rekurzivní volání. Pokud je hloubka příkazu větší než pět, obdržíte výjimku.
Příklad: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
.
Referenční informace k poznámkovému bloku fungují v interaktivním režimu i v kanálu.
Poznámka:
- Příkaz
%run
aktuálně podporuje pouze referenční poznámkové bloky ve stejném pracovním prostoru s aktuálním poznámkovým blokem. - Příkaz
%run
aktuálně podporuje pouze čtyři typy hodnot parametrů:int
,float
,bool
astring
. Operace nahrazení proměnné není podporována. - Příkaz
%run
nepodporuje vnořené odkazy s hloubkou větší než pět.
Referenční informace o spuštění skriptu
Příkaz %run
také umožňuje spouštět soubory Pythonu nebo SQL uložené v předdefinovaných prostředcích poznámkového bloku, takže můžete soubory zdrojového kódu spouštět v poznámkovém bloku pohodlně.
%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]
Možnosti:
- -b/--builtin: Tato možnost označuje, že příkaz najde a spustí zadaný soubor skriptu z vestavěných prostředků poznámkového bloku.
- -c/--current: Tato možnost zajišťuje, aby příkaz vždy používal předdefinované prostředky aktuálního poznámkového bloku, i když na aktuální poznámkový blok odkazuje jiné poznámkové bloky.
Příklady:
Spuštění script_file.py z předdefinovaných prostředků:
%run -b script_file.py
Spuštění script_file.sql z předdefinovaných prostředků:
%run -b script_file.sql
Spuštění script_file.py z předdefinovaných prostředků s konkrétními proměnnými:
%run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
Poznámka:
Pokud příkaz neobsahuje parametr -b/--builtin, pokusí se najít a spustit položku poznámkového bloku v rámci stejného pracovního prostoru, nikoli v předdefinovaných prostředcích.
Příklad použití pro vnořený případ spuštění:
- Předpokládejme, že máme dva poznámkové bloky.
- Notebook1: Obsahuje script_file1.py v předdefinovaných prostředcích
- Notebook2: Obsahuje script_file2.py v předdefinovaných prostředcích
- Pojďme poznámkový blok 1 používat jako kořenový poznámkový blok s obsahem:
%run Notebook2
. - V poznámkovém bloku 2 se pak zobrazí instrukce použití:
- Pokud chcete spustit script_file1.py v Notebook1(kořenový poznámkový blok), kód by byl:
%run -b script_file1.py
- Pokud chcete spustit script_file2.py v poznámkovém bloku 2(aktuálním poznámkovém bloku), bude kód:
%run -b -c script_file2.py
- Pokud chcete spustit script_file1.py v Notebook1(kořenový poznámkový blok), kód by byl:
Průzkumník proměnných
Poznámkové bloky prostředků infrastruktury poskytují integrovaného průzkumníka proměnných, který zobrazuje seznam názvů proměnných, typu, délky a hodnoty v aktuální relaci Sparku pro buňky PySpark (Python). Při definování v buňkách kódu se automaticky zobrazí další proměnné. Kliknutím na záhlaví každého sloupce seřadíte proměnné v tabulce.
Průzkumníka proměnných otevřete nebo skryjete tak, že na pásu karet poznámkového bloku vyberete Proměnné.
Poznámka:
Průzkumník proměnných podporuje pouze Python.
Indikátor stavu buňky
Pod buňkou se zobrazí podrobný stav provádění buněk, který vám pomůže zobrazit aktuální průběh. Po dokončení běhu buňky se zobrazí souhrn spuštění s celkovou dobou trvání a koncovým časem a uloží se tam pro budoucí referenci.
Indikátor vložené úlohy Apache Sparku
Poznámkový blok Fabric je založený na Apache Sparku. Buňky kódu se spouští na vzdáleném clusteru Apache Spark. Indikátor průběhu úlohy Sparku je k dispozici s indikátorem průběhu v reálném čase, který vám pomůže pochopit stav provádění úlohy. Počet úkolů pro každou úlohu nebo fázi vám pomůže identifikovat paralelní úroveň úlohy Sparku. Můžete také přejít hlouběji do uživatelského rozhraní Sparku konkrétní úlohy (nebo fáze) tak, že vyberete odkaz na název úlohy (nebo fáze).
Protokol na úrovni buňky najdete také v reálném čase vedle indikátoru průběhu a diagnostika vám může poskytnout užitečné návrhy, které vám pomůžou kód upřesnit a ladit.
V části Další akce můžete snadno přejít na stránku podrobností aplikace Spark a na stránku webového uživatelského rozhraní Sparku.
Úpravy tajných kódů
Aby se zabránilo náhodnému úniku přihlašovacích údajů při spouštění poznámkových bloků, podporují poznámkové bloky Fabric tajné redakce , aby nahradily tajné hodnoty, které se zobrazují ve výstupu [REDACTED]
buňky . Pro Python, Scala a R platí redakce tajných kódů.
Příkazy magic v poznámkovém bloku
Předdefinované příkazy magic
Známé příkazy magic Ipythonu můžete použít v poznámkových blocích Fabric. Projděte si následující seznam aktuálně dostupných příkazů magic.
Poznámka:
Toto jsou jediné příkazy magic podporované v kanálu Fabric: %%pyspark, %%spark, %%csharp, %%sql, %%configure.
Dostupné příkazy magic řádku: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoff, %logon, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %precision, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.
Poznámkový blok infrastruktury podporuje také vylepšené příkazy pro správu knihoven %pip a %conda. Další informace o využití najdete v tématu Správa knihoven Apache Spark v Microsoft Fabric.
Dostupné příkazy magic buňky: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%configure, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.
Vlastní příkazy magic
Můžete také vytvořit další vlastní magické příkazy, které vyhovují vašim konkrétním potřebám. Tady je příklad:
Vytvořte poznámkový blok s názvem MyLakehouseModule.
V jiném poznámkovém bloku použijte odkaz na "MyLakehouseModule" a jeho magické příkazy. Tento proces je způsob, jak pohodlně uspořádat projekt pomocí poznámkových bloků, které používají různé jazyky.
Widgety IPython
Widgety IPython jsou objekty Pythonu, které mají reprezentaci v prohlížeči. Widgety IPython můžete použít jako ovládací prvky s nízkým kódem (například posuvník nebo textové pole) v poznámkovém bloku stejně jako poznámkový blok Jupyter. V současné době funguje jenom v kontextu Pythonu.
Použití widgetů IPython
Nejprve naimportujte modul ipywidgets a použijte architekturu Widget Jupyter.
import ipywidgets as widgets
Pomocí funkce zobrazení nejvyšší úrovně můžete vykreslit widget nebo nechat výraz typu widgetu na posledním řádku buňky kódu.
slider = widgets.IntSlider() display(slider)
Spusťte buňku. Widget se zobrazí ve výstupní oblasti.
slider = widgets.IntSlider() display(slider)
Pomocí několika volání display() můžete několikrát vykreslit stejnou instanci widgetu. Zůstanou synchronizované s ostatními.
slider = widgets.IntSlider() display(slider) display(slider)
Pokud chcete vykreslit dva widgety nezávisle na sobě, vytvořte dvě instance widgetu:
slider1 = widgets.IntSlider() slider2 = widgets.IntSlider() display(slider1) display(slider2)
Podporované widgety
Typ widgetů | Widgety |
---|---|
Číselné widgety | IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText |
Logické widgety | ToggleButton, Checkbox, Valid |
Widgety pro výběr | Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple |
Widgety řetězců | Text, Textová oblast, Pole se seznamem, Heslo, Popisek, HTML, Matematika HTML, Obrázek, Tlačítko |
Widgety pro přehrávání (animace) | Výběr data, Výběr barvy, Kontroler |
Widgety kontejneru nebo rozložení | Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked |
Známá omezení
Následující widgety se zatím nepodporují. K dispozici jsou následující alternativní řešení:
Funkčnost Alternativní řešení Widget výstupu Funkci print() můžete místo toho použít k zápisu textu do stdoutu. widgets.jslink() Pomocí funkce widgets.link() můžete propojit dva podobné widgety. Widget FileUpload Zatím není podporováno. Globální funkce zobrazení prostředků infrastruktury nepodporuje zobrazení více widgetů v jednom volání (například display(a, b)). Toto chování se liší od funkce zobrazení IPythonu.
Pokud zavřete poznámkový blok, který obsahuje widget IPython, neuvidíte ho ani s ním nebudete moct pracovat, dokud znovu nespustíte odpovídající buňku.
Funkce interakce (ipywidgets.interact) není podporovaná.
Integrace poznámkového bloku
Určení buňky parametrů
Pokud chcete parametrizovat poznámkový blok, vyberte tři tečky (...) a přejděte k příkazům Další na panelu nástrojů buňky. Potom vyberte Přepnout buňku parametru a určete buňku jako buňku parametrů.
Buňka parametru je užitečná pro integraci poznámkového bloku do kanálu. Aktivita kanálu hledá buňku parametrů a považuje tuto buňku za výchozí pro parametry předávané v době provádění. Prováděcí modul přidá novou buňku pod buňku parametrů se vstupními parametry, aby bylo možné přepsat výchozí hodnoty.
Přiřazení hodnot parametrů z kanálu
Po vytvoření poznámkového bloku s parametry ho můžete spustit z kanálu s aktivitou poznámkového bloku Fabric. Po přidání aktivity na plátno kanálu můžete nastavit hodnoty parametrů v části Základní parametry na kartě Nastavení .
Při přiřazování hodnot parametrů můžete použít jazyk výrazu kanálu nebo funkce a proměnné.
Příkaz magic konfigurace relace Sparku
Relaci Sparku můžete přizpůsobit pomocí příkazu magic %%configure. Poznámkový blok Prostředků infrastruktury podporuje přizpůsobené virtuální jádra, paměť ovladače a exekutoru, vlastnosti Apache Sparku, přípojné body, fond a výchozí jezero relace poznámkového bloku. Dají se použít v interaktivních poznámkových bloku i v aktivitách poznámkového bloku kanálu. Doporučujeme spustit příkaz %%configure na začátku poznámkového bloku nebo restartovat relaci Sparku, aby se nastavení projevilo.
%%configure
{
// You can get a list of valid parameters to config the session from https://github.com/cloudera/livy#request-body.
"driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g"]
"driverCores": 4, // Recommended values: [4, 8, 16, 32, 64]
"executorMemory": "28g",
"executorCores": 4,
"jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
"conf":
{
// Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
"livy.rsc.sql.num-rows": "3000",
"spark.log.level": "ALL"
},
"defaultLakehouse": { // This overwrites the default lakehouse for current session
"name": "<lakehouse-name>",
"id": "<(optional) lakehouse-id>",
"workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
},
"mountPoints": [
{
"mountPoint": "/myMountPoint",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
},
{
"mountPoint": "/myMountPoint1",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
},
],
"environment": {
"id": "<environment-id>",
"name": "<environment-name>"
},
"sessionTimeoutInSeconds": 1200,
"useStarterPool": false, // Set to true to force using starter pool
"useWorkspacePool": "<workspace-pool-name>"
}
Poznámka:
- Doporučujeme nastavit stejnou hodnotu pro "DriverMemory" a "ExecutorMemory" v %%configure. Hodnoty "driverCores" a "executorCores" by také měly být stejné.
- "defaultLakehouse" přepíše připnuté jezero v Průzkumníku Lakehouse, ale to funguje jenom v aktuální relaci poznámkového bloku.
- Můžete použít %%configure in Fabric pipelines, ale pokud není nastavená v první buňce kódu, spuštění kanálu selže kvůli nemožnosti restartovat relaci.
- %%configure used in notebookutils.notebook.run will be ignored but used in %run notebook will continue executing.
- Standardní vlastnosti konfigurace Sparku musí být použity v textu "conf". Prostředky infrastruktury nepodporují referenční informace na první úrovni pro vlastnosti konfigurace Sparku.
- Některé speciální vlastnosti Sparku, včetně spark.driver.cores, spark.executor.cores, spark.driver.memory, spark.executor.memory a spark.executor.instances, se neprojeví v těle conf.
Parametrizovaná konfigurace relace z kanálu
Parametrizovaná konfigurace relace umožňuje nahradit hodnotu v nástroji %%configure magic parametry aktivity spuštění kanálu. Při přípravě buňky kódu %%configure můžete přepsat výchozí hodnoty (také konfigurovatelné, 4 a "2000" v následujícím příkladu) objektem, jako je tento:
{
"parameterName": "paramterNameInPipelineNotebookActivity",
"defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
}
%%configure
{
"driverCores":
{
"parameterName": "driverCoresFromNotebookActivity",
"defaultValue": 4
},
"conf":
{
"livy.rsc.sql.num-rows":
{
"parameterName": "rows",
"defaultValue": "2000"
}
}
}
Poznámkový blok používá výchozí hodnotu, pokud poznámkový blok spouštíte přímo v interaktivním režimu nebo pokud aktivita poznámkového bloku kanálu neposkytuje žádný parametr, který by odpovídal hodnotě activityParameterName.
Během spuštění kanálu můžete nakonfigurovat nastavení aktivity poznámkového bloku kanálu následujícím způsobem:
Pokud chcete změnit konfiguraci relace, název parametrů aktivity poznámkového bloku kanálu by měl být stejný jako parameterName
v poznámkovém bloku. V tomto příkladu spuštění kanálu driverCores
se v konfiguraci %%configure nahradí 8 a livy.rsc.sql.num-rows
nahradí se 4000.
Poznámka:
- Pokud spuštění kanálu selže, protože jste použili příkaz magic %%configure, vyhledejte další informace o chybě spuštěním buňky magic %%configure v interaktivním režimu poznámkového bloku.
- Naplánovaná spuštění poznámkového bloku nepodporují parametrizovanou konfiguraci relace.
Protokolování Pythonu v poznámkovém bloku
Můžete najít protokoly Pythonu a nastavit různé úrovně protokolů a formát, jako je ukázkový kód uvedený tady:
import logging
# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
handler.setFormatter(formatter)
# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)
# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)
# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")
# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")
Zobrazení historie vstupních příkazů
Poznámkový blok Fabric podporuje příkaz magic %history
k tisku historie vstupních příkazů, která se spustila v aktuální relaci, a porovnává se standardním příkazem Jupyter Ipython, který %history
funguje pro více jazyků v poznámkovém bloku.
%history [-n] [range [range ...]]
Možnosti:
- -n: Vytiskněte číslo spuštění.
Kde rozsah může být:
- N: Vytiskněte kód Nth spuštěné buňky.
- M-N: Vytiskněte kód z Mth do Nth spuštěné buňky.
Příklad:
- Vytisknout historii vstupu od 1. do 2. spuštěné buňky:
%history -n 1-2
Klávesové zkratky
Podobně jako poznámkové bloky Jupyter Mají poznámkové bloky Fabric modální uživatelské rozhraní. Klávesnice provádí různé věci v závislosti na tom, ve kterém režimu je buňka poznámkového bloku. Poznámkové bloky prostředků infrastruktury podporují pro danou buňku kódu následující dva režimy: režim příkazů a režim úprav.
Buňka je v režimu příkazu, pokud není žádný textový kurzor, který vás vyzve k zadání. Pokud je buňka v režimu příkazu, můžete poznámkový blok upravit jako celek, ale nezadávat do jednotlivých buněk. Stisknutím klávesy ESC nebo pomocí myši vyberte mimo oblast editoru buňky režim příkazu.
Režim úprav lze určit z textového kurzoru, který vás vyzve k zadání do oblasti editoru. Když je buňka v režimu úprav, můžete do buňky psát. Stisknutím klávesy Enter nebo myší vyberte oblast editoru buňky.
Klávesové zkratky v režimu příkazů
Akce | Klávesové zkratky poznámkového bloku |
---|---|
Spusťte aktuální buňku a vyberte níže. | Shift + Enter |
Spusťte aktuální buňku a vložte ji níže. | Alt+Enter |
Spuštění aktuální buňky | Ctrl+Enter |
Vyberte buňku nad | Nahoru |
Vyberte buňku níže. | Dolů |
Výběr předchozí buňky | K |
Vybrat další buňku | J |
Vložit buňku nad | A |
Vložit buňku pod | T |
Odstranění vybraných buněk | Shift+D |
Přepnout do režimu úprav | ENTER |
Klávesové zkratky v režimu úprav
Pomocí následujících klávesových zkratek můžete snadno procházet a spouštět kód v poznámkových blocích Fabric v režimu úprav.
Akce | Klávesové zkratky poznámkového bloku |
---|---|
Přesunutí kurzoru nahoru | Nahoru |
Přesunutí kurzoru dolů | Dolů |
Zpět | Ctrl+Z |
Opakovat | Ctrl+Y |
Komentář nebo zrušení komentáře | Ctrl+/ Komentář: Ctrl + K + C Odkomentování: Ctrl + K + U |
Odstranit slovo před | Ctrl + Backspace |
Odstranit slovo za | Ctrl + Delete |
Přechod na začátek buňky | Ctrl +Home |
Přechod na konec buňky | Ctrl +End |
Přejít o jedno slovo doleva | Ctrl + vlevo |
Přejít o jedno slovo doprava | Ctrl + vpravo |
Vybrat vše | Ctrl + A |
Odsazení | Ctrl+] |
Dedent | Ctrl+[ |
Přepnout do režimu příkazů | Esc |
Pokud chcete najít všechny klávesové zkratky, vyberte Zobrazit na pásu karet poznámkového bloku a pak vyberte Klávesové zkratky.