Dela via

Utlösare för lagringshändelser för datapipelines i Data Factory (förhandsversion)

  • Artikel

Introduktion

Ett vanligt användningsfall för att anropa Data Factory-datapipelines är att utlösa en pipeline vid filhändelser som filinkomst och filborttagning. För kunder som flyttar från Azure Data Factory (ADF) till Microsoft Fabric är det vanligt att använda ADLS/Blog Storage-händelser. Nya Fabric-användare som inte tidigare är bekanta med ADF kan vanligtvis använda filhändelser från OneLake. Utlösare i Fabric Data Factory använder infrastrukturplattformsfunktioner som eventstreams och Reflex-utlösare. I pipelinedesignarbetsytan för Fabric Data Factory finns en utlösare för att skapa en Reflex-utlösare för din pipeline, eller så kan du skapa utlösaren direkt från funktionen Infrastrukturaktivering.

Kommentar

Utlösare för lagringshändelser finns för närvarande i offentlig förhandsversion.

Så här ställer du in utlösare för lagringshändelser i en pipeline

  1. Välj knappen Utlösare (förhandsversion) i menyfliksområdet Start överst i fönstret för redigeraren för pipelinearbetsytan

    Skärmbild som visar knappen Utlösare i menyfliksområdet Start i redigeringsfönstret för pipelinearbetsytan.

  2. Panelen Ange avisering öppnas där du kan välja Azure Blob Storage-källhändelser.

    Skärmbild som visar panelen Ange avisering.

  3. Välj Källa och sedan Välj händelser för att välja de lagringshändelser som du vill lyssna på i utlösaren.

    Skärmbild som visar var du ska ansluta till Azure Blob Storage-händelser för ett Blob Storage-konto.

  4. Välj din Azure-prenumeration och ditt Blob Storage-konto.

  5. Ett nytt eventstream-objekt skapas i din Infrastruktur-arbetsyta, så se till att välja rätt arbetsyta under Stream-information.

  6. Välj Nästa.

  7. Välj händelsetyper. Du kan se att det finns många fler händelsealternativ som du kan välja förutom att skapa en fil och ta bort filen.

    Skärmbild som visar sidan Konfigurera händelsetyp och källa i dialogrutan för utlösarkonfiguration.

  8. Du kan filtrera händelser till matchande filer och mappar genom att ange mappnamn, filnamn, filtyp och container med hjälp av fältet Ämne .

    En händelse har följande data på den översta nivån:

    Property Type Beskrivning Exempel
    source sträng Fullständig resurssökväg till händelsekällan. Det här fältet kan inte skrivas. Event Grid ger det här värdet. /subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account
    certifikatmottagare sträng Utgivardefinierad sökväg till händelseobjektet. /blobServices/default/containers/my-file-system/blobs/new-file.txt
    type sträng En av de registrerade händelsetyperna för den här händelsekällan. Microsoft.Storage.BlobSkapat
    time sträng Den tid då händelsen genereras baserat på leverantörens UTC-tid. 2017-06-26T18:41:00.9584103Z
    id sträng Unik identifierare för händelsen. 00000000-0000-0000-0000-000000000000
    data objekt Händelsedata för Blob Storage. {{Dataobjekt}}
    specversion sträng CloudEvents schemaspecifikationsversion. 1.0

    Skärmbild som visar sidan för filterkonfiguration.

    Kommentar

    Filnamn och mappnamn kommer att ingå i fältet Ämne .

  9. Gå tillbaka till konfigurationspanelen för utlösaren och välj arbetsytan för att lagra utlösarobjekt, pipelinenamn, pipelineåtgärd och namnet på utlösaren som ett reflexobjekt med hjälp av objektnamnet.

  10. Välj Skapa för att skapa utlösaren. Utlösaren är nu aktiv i din pipeline och reagerar på de lagringshändelser som du har definierat för den.

    Skärmbild som visar meddelandet Avisering som skapats.

  11. Om du vill visa utlösaren går du till listvyn för arbetsytan och letar reda på reflexobjektet efter namn från fabric-webbläsaren.

  12. Objektets typ är Reflex.

  13. Välj utlösaren för att öppna reflexobjektet för visning och redigering.

    Skärmbild som visar information om reflexobjektet.

Ange uttrycksvärden med utlösarens filnamn och mappnamn

I pipelinen kan du använda namnet på fil- och mappsökvägen från lagringshändelsen med hjälp av inbyggda utlösarparametrar. Data Factory anger dessa parametrar när den tar emot lagringshändelsen. Parametrar för blobsökväg och filnamn anges av utlösaraktiveringen. Välj fliken utlösarparametrar i uttrycksverktyget i pipelinen och Data Factory parsar automatiskt filnamnet och mappnamnen åt dig, så att du dynamiskt kan lägga till dem i pipelineuttrycket.

Skärmbild som visar dialogrutan Lägg till dynamiskt innehåll.

Dessa inbyggda parametrar anges från fälten Ämne och Ämne i den ankommande filhändelsen och skapas automatiskt så att du kan använda i pipelinelogik.

@pipeline()?.TriggerEvent?.FileName

Du kanske märker användningen av en ? efter pipeline()-objektreferensen, som är en metod som används i pipelineuttrycksspråket för att hantera NULL-värden. Du behöver den här syntaxen när du testar en pipeline som använder utlösarparametrarna eftersom parametrarna för fil- och mappnamn inte har angetts vid manuell testning, vilket returnerar ett NULL-värde. Men när du utlöser pipelinen från en filhändelse visas filnamnet och mappnamnet ifyllda i dessa fält.

Relaterat innehåll