Pipeline Runs - Query By Factory

Référence

Service:: Data Factory

Version d'API:: 2018-06-01

Le pipeline de requête s’exécute dans la fabrique en fonction des conditions de filtre d’entrée.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/queryPipelineRuns?api-version=2018-06-01

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
factoryName	path	True	string	Nom de la fabrique. Modèle d’expression régulière: `^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$`
resourceGroupName	path	True	string	Nom du groupe de ressources. Modèle d’expression régulière: `^[-\w\._\(\)]+$`
subscriptionId	path	True	string	Identificateur de l’abonnement.
api-version	query	True	string	Version de l'API.

Corps de la demande

Nom	Obligatoire	Type	Description
lastUpdatedAfter	True	string	Heure à laquelle l’événement d’exécution a été mis à jour au format « ISO 8601 ».
lastUpdatedBefore	True	string	Heure à laquelle ou avant laquelle l’événement d’exécution a été mis à jour au format « ISO 8601 ».
continuationToken		string	Jeton de continuation permettant d’obtenir la page de résultats suivante. Null pour la première page.
filters		RunQueryFilter[]	Liste des filtres.
orderBy		RunQueryOrderBy[]	Liste de l’option OrderBy.

Réponses

Nom	Type	Description
200 OK	PipelineRunsQueryResponse	OK.
Other Status Codes	CloudError	Réponse d’erreur reçue du service Azure Data Factory.

Sécurité

azure_auth

Flux OAuth2 Azure Active Directory.

Type: oauth2
Flux: implicit
URL d’autorisation: https://login.microsoftonline.com/common/oauth2/authorize

Étendues

Nom	Description
user_impersonation	Emprunter l’identité de votre compte d’utilisateur

Exemples

PipelineRuns_QueryByFactory

Exemple de requête

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/queryPipelineRuns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
  "filters": [
    {
      "operand": "PipelineName",
      "operator": "Equals",
      "values": [
        "examplePipeline"
      ]
    }
  ]
}


import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import com.azure.resourcemanager.datafactory.models.RunQueryFilter;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperand;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperator;
import java.time.OffsetDateTime;
import java.util.Arrays;

/**
 * Samples for PipelineRuns QueryByFactory.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * PipelineRuns_QueryByFactory.json
     */
    /**
     * Sample code: PipelineRuns_QueryByFactory.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void pipelineRunsQueryByFactory(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.pipelineRuns().queryByFactoryWithResponse("exampleResourceGroup", "exampleFactoryName",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z"))
                .withFilters(Arrays.asList(new RunQueryFilter().withOperand(RunQueryFilterOperand.PIPELINE_NAME)
                    .withOperator(RunQueryFilterOperator.EQUALS).withValues(Arrays.asList("examplePipeline")))),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python pipeline_runs_query_by_factory.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.pipeline_runs.query_by_factory(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        filter_parameters={
            "filters": [{"operand": "PipelineName", "operator": "Equals", "values": ["examplePipeline"]}],
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v9"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/ab04533261eff228f28e08900445d0edef3eb70c/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
func ExamplePipelineRunsClient_QueryByFactory() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewPipelineRunsClient().QueryByFactory(ctx, "exampleResourceGroup", "exampleFactoryName", armdatafactory.RunFilterParameters{
		Filters: []*armdatafactory.RunQueryFilter{
			{
				Operand:  to.Ptr(armdatafactory.RunQueryFilterOperandPipelineName),
				Operator: to.Ptr(armdatafactory.RunQueryFilterOperatorEquals),
				Values: []*string{
					to.Ptr("examplePipeline")},
			}},
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.PipelineRunsQueryResponse = armdatafactory.PipelineRunsQueryResponse{
	// 	Value: []*armdatafactory.PipelineRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3",
	// 				},
	// 			},
	// 			DurationInMs: to.Ptr[int32](28105),
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("80a01654a9d34ad18b3fcac5d5d76b67"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			RunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:44.625Z"); return t}()),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab",
	// 				},
	// 			},
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("7c5fd7ef7e8a464b98b931cf15fcac66"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:51.216Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunID: to.Ptr("16ac5348-ff82-4f95-a80d-638c1d47b721"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:49.274Z"); return t}()),
	// 			Status: to.Ptr("Cancelled"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query pipeline runs in the factory based on input filter conditions.
 *
 * @summary Query pipeline runs in the factory based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
 */
async function pipelineRunsQueryByFactory() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const filterParameters = {
    filters: [
      {
        operand: "PipelineName",
        operator: "Equals",
        values: ["examplePipeline"],
      },
    ],
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.pipelineRuns.queryByFactory(
    resourceGroupName,
    factoryName,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

using Azure;
using Azure.ResourceManager;
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.Resources;
using Azure.ResourceManager.DataFactory;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
// this example is just showing the usage of "PipelineRuns_QueryByFactory" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"))
{
    Filters =
    {
    new RunQueryFilter(RunQueryFilterOperand.PipelineName,RunQueryFilterOperator.EqualsValue,new string[]
    {
    "examplePipeline"
    })
    },
};
await foreach (DataFactoryPipelineRunInfo item in dataFactory.GetPipelineRunsAsync(content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine($"Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

az datafactory pipeline-run query-by-factory --factory-name "exampleFactoryName" --filters operand="PipelineName" operator="Equals" values="examplePipeline" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup"

Click here to learn more about the Azure CLI command.

Exemple de réponse

Code d’état:: 200

Date: Sat, 16 Jun 2018 00:40:01 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14989
x-ms-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd
x-ms-correlation-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}

Définitions

Nom	Description
CloudError	Objet qui définit la structure d’une réponse d’erreur Azure Data Factory.
PipelineRun	Informations sur l’exécution d’un pipeline.
PipelineRunInvokedBy	Fournit le nom et l’ID de l’entité qui ont démarré l’exécution du pipeline.
PipelineRunsQueryResponse	Un pipeline de liste s’exécute.
RunFilterParameters	Paramètres de requête pour répertorier les exécutions.
RunQueryFilter	Option de filtre de requête pour répertorier les exécutions.
RunQueryFilterOperand	Nom du paramètre à utiliser pour le filtre. Les opérandes autorisés à interroger les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour interroger les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType et Status, et pour interroger les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.
RunQueryFilterOperator	Opérateur à utiliser pour le filtre.
RunQueryOrder	Ordre de tri du paramètre.
RunQueryOrderBy	Objet permettant de fournir l’ordre par options pour répertorier les exécutions.
RunQueryOrderByField	Nom du paramètre à utiliser pour l’ordre par. Les paramètres autorisés à classer par pour les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd et Status ; pour les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.

CloudError

Objet qui définit la structure d’une réponse d’erreur Azure Data Factory.

Nom	Type	Description
error.code	string	Code d’erreur.
error.details	CloudError[]	Tableau avec des détails d’erreur supplémentaires.
error.message	string	Message d’erreur.
error.target	string	Nom/chemin de propriété dans la demande associée à l’erreur.

PipelineRun

Informations sur l’exécution d’un pipeline.

Nom	Type	Description
durationInMs	integer	Durée d’exécution d’un pipeline.
invokedBy	PipelineRunInvokedBy	Entité qui a démarré l’exécution du pipeline.
isLatest	boolean	Indique si l’exécution du pipeline récupérée est la dernière de son groupe.
lastUpdated	string	Horodatage de la dernière mise à jour de l’événement d’exécution de pipeline au format ISO8601.
message	string	Message d’une exécution de pipeline.
parameters	object	Liste complète ou partielle du nom de paramètre et de la paire valeur utilisée dans l’exécution du pipeline.
pipelineName	string	Nom du pipeline.
runDimensions	object	Dimensions d’exécution émises par l’exécution du pipeline.
runEnd	string	Heure de fin de l’exécution d’un pipeline au format ISO8601.
runGroupId	string	Identificateur qui met en corrélation toutes les exécutions de récupération d’une exécution de pipeline.
runId	string	Identificateur d’une exécution.
runStart	string	Heure de début de l’exécution d’un pipeline au format ISO8601.
status	string	Status d’une exécution de pipeline. Valeurs possibles : En file d’attente, InProgress, Succeeded, Failed, Canceling, Cancelled

PipelineRunInvokedBy

Fournit le nom et l’ID de l’entité qui ont démarré l’exécution du pipeline.

Nom	Type	Description
id	string	ID de l’entité qui a démarré l’exécution.
invokedByType	string	Type de l’entité qui a démarré l’exécution.
name	string	Nom de l’entité qui a démarré l’exécution du pipeline.
pipelineName	string	Nom du pipeline qui a déclenché l’exécution, le cas échéant.
pipelineRunId	string	ID d’exécution du pipeline qui a déclenché l’exécution, le cas échéant.

PipelineRunsQueryResponse

Un pipeline de liste s’exécute.

Nom	Type	Description
continuationToken	string	Jeton de continuation permettant d’obtenir la page de résultats suivante, si des résultats restants existent, null dans le cas contraire.
value	PipelineRun[]	Liste des exécutions de pipeline.

RunFilterParameters

Paramètres de requête pour répertorier les exécutions.

Nom	Type	Description
continuationToken	string	Jeton de continuation permettant d’obtenir la page de résultats suivante. Null pour la première page.
filters	RunQueryFilter[]	Liste des filtres.
lastUpdatedAfter	string	Heure à laquelle l’événement d’exécution a été mis à jour au format « ISO 8601 ».
lastUpdatedBefore	string	Heure à laquelle ou avant laquelle l’événement d’exécution a été mis à jour au format « ISO 8601 ».
orderBy	RunQueryOrderBy[]	Liste de l’option OrderBy.

RunQueryFilter

Option de filtre de requête pour répertorier les exécutions.

Nom	Type	Description
operand	RunQueryFilterOperand	Nom du paramètre à utiliser pour le filtre. Les opérandes autorisés à interroger les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour interroger les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType et Status, et pour interroger les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.
operator	RunQueryFilterOperator	Opérateur à utiliser pour le filtre.
values	string[]	Liste des valeurs de filtre.

RunQueryFilterOperand

Nom du paramètre à utiliser pour le filtre. Les opérandes autorisés à interroger les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour interroger les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType et Status, et pour interroger les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.

Nom	Type	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
ActivityType	string
LatestOnly	string
PipelineName	string
RunEnd	string
RunGroupId	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string

RunQueryFilterOperator

Opérateur à utiliser pour le filtre.

Nom	Type	Description
Equals	string
In	string
NotEquals	string
NotIn	string

RunQueryOrder

Ordre de tri du paramètre.

Nom	Type	Description
ASC	string
DESC	string

RunQueryOrderBy

Objet permettant de fournir l’ordre par options pour répertorier les exécutions.

Nom	Type	Description
order	RunQueryOrder	Ordre de tri du paramètre.
orderBy	RunQueryOrderByField	Nom du paramètre à utiliser pour l’ordre par. Les paramètres autorisés à classer par pour les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd et Status ; pour les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.

RunQueryOrderByField

Nom du paramètre à utiliser pour l’ordre par. Les paramètres autorisés à classer par pour les exécutions de pipeline sont PipelineName, RunStart, RunEnd et Status ; pour les exécutions d’activité sont ActivityName, ActivityRunStart, ActivityRunEnd et Status ; pour les exécutions de déclencheur sont TriggerName, TriggerRunTimestamp et Status.

Nom	Type	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
PipelineName	string
RunEnd	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string