Del via

Brug Python-oplevelsen på notesbog

  • Artikel

Seddel

Funktionen er i øjeblikket en prøveversion.

Python-notesbogen er en ny oplevelse, der er bygget oven på Fabric-notesbogen. Det er et alsidigt og interaktivt værktøj, der er designet til dataanalyse, visualisering og maskinel indlæring. Det giver en problemfri udviklingsoplevelse til skrivning og udførelse af Python-kode. Det gør det til et vigtigt værktøj for dataspecialikere, analytikere og BI-udviklere, især til udforskningsopgaver, der ikke kræver big data og distribueret databehandling.

Med en Python-notesbog kan du få:

  • Flere indbyggede Python-kerner: Python-notesbøger tilbyder et rent Python-kodemiljø uden Spark med to versioner af Python-kerne – Python 3.10 og 3.11 som standard, og de oprindelige ipython-funktioner understøttes, f.eks. iPyWidget, magiske kommandoer.

  • Omkostningseffektiv: Den nye Python-notesbog giver som standard omkostningsbesparende fordele ved at køre på en enkelt nodeklynge med 2vCores/16 GB hukommelse. Dette sikrer effektiv ressourceudnyttelse for dataudforskningsprojekter med mindre datastørrelse.

  • Lakehouse & Ressourcer er oprindeligt tilgængelige: Fabric Lakehouse sammen med de indbyggede ressourcer for notesbogen er alle funktioner tilgængelige i Python-notesbogen. Dette gør det muligt for brugerne nemt at overføre dataene til Python-notesbogen. Prøv blot at trække & slip for at hente kodestykket.

  • Mix programmering med T-SQL: Python-notesbog er en nem måde at interagere med Data Warehouse og SQL-slutpunkter i Stifinder på. Ved hjælp af dataconnector til notebookutils kan du nemt udføre T-SQL-scripts under pythonkonteksten.

  • understøttelse af populære dataanalysebiblioteker: Python-notesbøger leveres med forudinstallerede biblioteker som DuckDB, Polars og Scikit-learn, hvilket giver en omfattende værktøjskasse til datamanipulation, analyse og maskinel indlæring.

  • Advanced intellisense: Python-notesbog bruger Pylance som intellisense-programmet sammen med andre Fabric-tilpassede sprogtjenester, der har til formål at levere avanceret kodningsoplevelse for udviklere af notesbøger.

  • NotebookUtils & semantisk link: Effektive API-værktøjssæt gør det nemt at bruge Fabric- og Power BI-funktioner med kode førstegangsoplevelse.

  • Rich VisualizationCapabilities: Med undtagelse af den populære avancerede datarammevisningsfunktion 'Tabel' og 'Diagram'-funktion understøtter vi også populære visualiseringsbiblioteker som Matplotlib, Seaborn og Plotly. PowerBIClient understøtter også disse biblioteker for at hjælpe brugerne med bedre at forstå datamønstre og indsigt.

  • Almindelige funktioner for Fabric Notebook-: Alle funktioner på notesbogniveau gælder naturligt for Python-notesbog, f.eks. redigeringsfunktioner, AutoSave, samarbejde, deling og tilladelsesstyring, Git-integration, import/eksport osv.

  • Full stack Data Science Capabilities: Den avancerede værktøjspakke med lav kode data Wrangler, MACHINE Learning Framework MLFlow og den effektive Copilot er alle tilgængelige i Python-notesbogen.

Sådan får du adgang til Python-notesbog

Når du har åbnet en Fabric Notebook, kan du skifte til Python- i rullemenuen Sprog på fanen Startside og konvertere hele notesbogsættet til Python.

Skærmbillede, der viser skift til Python fra menuen til notesbogsprog.

De fleste af de almindelige funktioner understøttes som et notesbogniveau. Du kan se Sådan bruger du Microsoft Fabric-notesbøger og Udvikl, udfør og administrer Microsoft Fabric-notesbøger for at få mere at vide om den detaljerede brug. Her kan du se nogle nøglefunktioner, der er specifikke for Python-scenarier.

Kør Python-notesbøger

Python-notesbog understøtter flere måder at udføre job på:

  • Interactive: Du kan køre en Python-notesbog interaktivt som en oprindelig Jupyter-notesbog.
  • Planlæg kørsel: Du kan bruge den letvægtede planlægningsoplevelse på siden med indstillinger for notesbogen til at køre Python-notesbogen som et batchjob.
  • Pipelinekørsel: Du kan orkestrere Python-notesbøger som notesbogaktiviteter i datapipeline. Snapshot oprettes efter udførelsen af jobbet.
  • kørsel af Reference: Du kan bruge notebookutils.notebook.run() eller notebookutils.notebook.runMultiple() til at referere til kørsel af Python-notesbøger i en anden Python-notesbog som et batchjob. Snapshot oprettes, når referencekørslen er fuldført.
  • offentlige API kører: Du kan planlægge, at pythonnotesbogen køres med den notesbog køre offentlige API-, skal du kontrollere, at sprog- og kerneegenskaberne i notesbogmetadata for den offentlige API-nyttedata er angivet korrekt.

Du kan overvåge kørselsoplysningerne for Python-notesbogjobbet under båndfanen Kør –>Få vist alle kørsler.

Datainteraktion

Du kan interagere med Lakehouse, Warehouses, SQL-slutpunkter og indbyggede ressourcemapper i Python-notesbogen.

Lakehouse-interaktion

Du kan angive et Lakehouse som standard, eller du kan også tilføje flere Lakehouses for at udforske og bruge dem i notesbøger.

Hvis du ikke kender til at læse dataobjekterne, f.eks. deltatabel, kan du prøve at trække og slippe filen og deltatabellen på notesbogens lærred eller bruge Indlæs data i objektets rullemenu. Notesbog indsætter automatisk kodestykke i kodecellen og genererer kode til læsning af destinationsdataobjektet.

Seddel

Hvis du støder på OOM, når du indlæser store mængder data, kan du prøve at bruge DuckDB-, Polars- eller PyArrow-dataramme i stedet for pandas.

Du kan finde handlingen write Lakehouse i Gennemse kodestykke –>Skriv data til deltatabellen.

Skærmbillede, der viser handlingen write lakehouse.

Lagerinteraktion og mix programmering med T-SQL

Du kan tilføje Data Warehouses eller SQL-slutpunkter fra Warehouse Explorer of Notebook. På samme måde kan du trække og slippe tabellerne på notesbogens lærred eller bruge genvejshandlinger i rullemenuen i tabellen. Notesbog genererer automatisk kodestykke for dig. Du kan bruge notebookutils.data hjælpeprogrammer til at oprette forbindelse til Warehouses og forespørge dataene ved hjælp af T-SQL-sætningen i forbindelse med Python.

Skærmbillede, der viser genveje til lagertabeller.

Seddel

SQL-slutpunkter er skrivebeskyttede her.

Mappe med notesbogressourcer

De notesbogressourcer indbyggede ressourcemappe er oprindeligt tilgængelige på Python Notebook. Du kan nemt interagere med filerne i den indbyggede ressourcemappe ved hjælp af Python-kode, som om du arbejder med dit lokale filsystem. Mappen Miljøressource understøttes ikke i øjeblikket.

Kernehandlinger

Python-notesbogen understøtter to indbyggede kerner lige nu, de er Python 3.10 og Python 3.11, og den valgte standardkerne er Python 3.11. du kan nemt skifte mellem dem.

Du kan afbryde, genstarte eller skifte kerne på fanen Home på båndet. Afbrydelse af kernen i Python-notesbøger er det samme som at annullere cellen i Spark-notesbogen.

Skærmbillede, der viser kernehandlinger.

Unormal kerneafslutning medfører, at udførelsen af kode afbrydes og mister variabler, men det stopper ikke notesbogsessionen.

Der er kommandoer, der kan føre til kerne død. f.eks. quit()exit().

Biblioteksstyring

Du kan bruge %pip og %conda kommandoer til indbyggede installationer. Kommandoerne understøtter både offentlige biblioteker og brugerdefinerede biblioteker.

I forbindelse med brugerdefinerede biblioteker kan du overføre lib-filerne til mappen indbyggede ressourcer mappe. Vi understøtter flere typer biblioteker, f.eks. .whl, .jar, .dll, .pyosv., bare prøv at trække&slip til filen, så genereres kodestykket automatisk.

Du skal muligvis genstarte kernen for at bruge de opdaterede pakker.

Magisk kommando til konfiguration af session

På samme måde som med tilpasning af en Spark-sessionkonfiguration i notesbogen, kan du også bruge %%configure i Python-notesbogen. Python-notesbog understøtter tilpasning af størrelsen på beregningsnoden, tilslutningspunkter og standard lakehouse for notesbogsessionen. De kan bruges i både interaktive aktiviteter for notesbøger og pipelinenotesbøger. Vi anbefaler, at du bruger kommandoen %%configure i starten af notesbogen, eller du skal genstarte notesbogsessionen for at få indstillingerne til at træde i kraft.

Her er de understøttede egenskaber i Python-notesbogens %%configure:

%%configure
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Du kan få vist opdateringen af beregningsressourcer på statuslinjen for notesbogen og overvåge cpu- og hukommelsesforbruget for beregningsnoden i realtid.

Skærmbillede, der viser opdatering af beregningsressourcer.

NotebookUtils

Notebook Utilities (NotebookUtils) er en indbygget pakke, der hjælper dig med nemt at udføre almindelige opgaver i Fabric Notebook. Den er forudinstalleret på Python-kørsel. Du kan bruge NotebookUtils til at arbejde med filsystemer, til at hente miljøvariabler, til at sammenkæde notesbøger, til at få adgang til eksternt lager og til at arbejde med hemmeligheder.

Du kan bruge notebookutils.help() til at få vist tilgængelige API'er og også få hjælp til metoder eller referere til dokumentet NotebookUtils.

Dataværktøjer

Seddel

  • Funktionen er i øjeblikket en prøveversion.
  • API-kontrakten kan ændres i den nærmeste fremtid.

Du kan bruge notebookutils.data hjælpeprogrammer til at oprette forbindelse til den angivne datakilde og derefter læse og forespørge om data ved hjælp af T-SQL-sætningen.

Kør følgende kommando for at få en oversigt over de tilgængelige metoder:

notebookutils.data.help()

Udgang:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = None) -> pyodbc.Connection
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                cursor = conn.cursor()
                cursor.execute(sql_query)
                rows = cursor.fetchall()
                for row in rows:
                    print(row)
    
    help(method_name=None)
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.11/lib/python3.11/site-packages/notebookutils/data.py

Forespørg om data fra Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")

cursor = conn.cursor()
cursor.execute("SELECT * FROM sys.schemas;")
rows = cursor.fetchall()
for row in rows:
    print(row)

Forespørg om data fra lager

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")

cursor = conn.cursor()
cursor.execute("SELECT * FROM sys.schemas;")
rows = cursor.fetchall()
for row in rows:
    print(row)

Seddel

  • Dataværktøjerne i NotebookUtils er indtil videre kun tilgængelige på Python-notesbogen.
  • Kendt begrænsning: For connect_to_artifact API initialiserer det returnerede conn objekt internt et PBI-token for at godkende brugeren, når der oprettes forbindelse til datakilden. Det understøtter dog ikke opdatering af token. PBI-tokenet er i øjeblikket kun gyldigt i én time. Alle forespørgsler, der overstiger én time, mislykkes på grund af udløbsproblemet for tokenet.

Gennemse kodestykker

Du kan finde nyttige python-kodestykker under fanen Rediger –Gennemse kodestykkeer nye Python-eksempler nu tilgængelige. Du kan lære af Python-kodestykket for at begynde at udforske notesbogen.

Skærmbillede, der viser, hvor du kan gennemse python-kodestykker.

Semantisk link er en funktion, der giver dig mulighed for at etablere en forbindelse mellem semantiske modeller og Synapse Data Science i Microsoft Fabric. Det understøttes oprindeligt i Python-notesbogen. BI-teknikere og Power BI-udviklere kan nemt bruge Semantisk link til at oprette forbindelse og administrere semantisk model. Læs offentlige dokument for at få mere at vide om semantisk link.

Visualisering

Ud over at tegne diagrammer med biblioteker giver funktionen indbyggede visualisering dig mulighed for at omdanne DataFrames til avancerede datavisualiseringer. Du kan bruge funktionen display() på dataframes til at oprette den omfattende datarammetabelvisning og diagramvisning.

Skærmbillede, der viser visualiseringsoplevelsen i Python-notesbogen.

Seddel

Diagramkonfigurationerne bevares i Python-notesbogen, hvilket betyder, at de gemte diagrammer stadig bevares, når kodecellen er kørt igen, hvis måldatarammeskemaet ikke ændres.

Kode intelliSense

Integreret Pylance i Python-notesbog for at forbedre Python-kodningsoplevelsen. Pylance er standardunderstøttelse af sprogtjenesten til Python i Visual Studio Code. Det indeholder en masse brugervenlige funktioner, f.eks. fremhævning af nøgleord, hurtig info, kodefuldførelse, parameteroplysninger og registrering af syntaksfejl. Desuden har Pylance bedre ydeevne, når notesbogen er lang.

Datavidenskabsegenskaber

Besøg Data Science-dokumentation i Microsoft Fabric for at få mere at vide om datavidenskab og AI-erfaring i Fabric. Her viser vi et par vigtige datavidenskabsfunktioner, der oprindeligt understøttes i Python-notesbogen.

  • Data Wrangler: Data Wrangler er et notesbogbaseret værktøj, der giver en fordybende grænseflade til udforskning af dataanalyser. Denne funktion kombinerer en gitterlignende datavisning med dynamisk oversigtsstatistik, indbyggede visualiseringer og et bibliotek med almindelige datarensningshandlinger. Det leverer datarensning, datatransformation og integration, hvilket fremskynder dataforberedelse med Data Wrangler.

  • MLflow: Et maskinel indlæringseksperiment er den primære enhed for organisation og kontrol for alle relaterede machine learning-kørsler. En kørsel svarer til en enkelt udførelse af modelkoden.

  • Fabric Auto Logging: Synapse Data Science i Microsoft Fabric omfatter automatisklogging, hvilket reducerer mængden af kode, der kræves for automatisk at logføre parametre, målepunkter og elementer i en model til maskinel indlæring under oplæringen.

    Automatisklogging udvider MLflow Tracking-funktioner. Automatisk logning kan registrere forskellige målepunkter, herunder nøjagtighed, tab, F1-score og brugerdefinerede målepunkter, som du definerer. Ved hjælp af autologging kan udviklere og datateknikere nemt spore og sammenligne ydeevnen af forskellige modeller og eksperimenter uden manuel sporing.

  • Copilot: Notesbøger til datavidenskab og datakonstruktion er en AI-assistent, der hjælper dig med at analysere og visualisere data. Den fungerer sammen med lakehouse-tabeller, Power BI-datasæt og pandas/spark-datarammer og giver svar og kodestykker direkte i notesbogen. Du kan bruge Copilot-chatpanelet og Char-magics i notesbogen, og AI'en giver svar eller kode, der kan kopieres til din notesbog.

Kendte begrænsninger for offentlig prøveversion

  • Live pool-oplevelsen er ikke garanteret for hver python-notesbogkørsel. Sessionens starttid kan op til 3 minutter, hvis kørsel af notesbogen ikke rammer den dynamiske pulje, mens forbruget af pythonnotesbog vokser, vil intelligente puljemetoder gradvist øge allokeringen af den dynamiske pulje for at imødekomme efterspørgslen.

  • Miljøintegration er ikke tilgængelig i Python-notesbogen efter offentlig prøveversion.

  • Angiv timeout for session er ikke tilgængelig i øjeblikket.

  • Copilot kan generere Spark-sætning, som muligvis ikke kan eksekveres i Python-notesbogen.

  • I øjeblikket understøttes Copilot på Python-notesbogen ikke fuldt ud i flere områder. Udrulningsprocessen er stadig i gang. Hold dig opdateret, efterhånden som vi fortsætter med at udrulle support i flere områder.

Relateret indhold