Pipeline Runs - Query By Factory

Serviço:

Data Factory

Versão da API:

2018-06-01

O pipeline de consulta é executado na fábrica com base nas condições do filtro de entrada.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/queryPipelineRuns?api-version=2018-06-01

Parâmetros do URI

Name	Em	Necessário	Tipo	Description
factoryName	path	True	string	O nome da fábrica. Padrão Regex: ^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$
resourceGroupName	path	True	string	O nome do grupo de recursos. Padrão Regex: ^[-\w\._\(\)]+$
subscriptionId	path	True	string	O identificador da subscrição.
api-version	query	True	string	A versão da API.

Corpo do Pedido

Name	Necessário	Tipo	Description
lastUpdatedAfter	True	string	O momento em que o evento de execução foi atualizado no formato "ISO 8601".
lastUpdatedBefore	True	string	A hora em que o evento de execução foi atualizado no formato "ISO 8601".
continuationToken		string	O token de continuação para obter a página seguinte dos resultados. Nulo para a primeira página.
filters		RunQueryFilter[]	Lista de filtros.
orderBy		RunQueryOrderBy[]	Lista da opção OrderBy.

Respostas

Name	Tipo	Description
200 OK	PipelineRunsQueryResponse	OK.
Other Status Codes	CloudError	Uma resposta de erro recebida do serviço Azure Data Factory.

Segurança

azure_auth

Fluxo OAuth2 do Azure Active Directory.

Tipo: oauth2
Fluxo: implicit
URL de Autorização: https://login.microsoftonline.com/common/oauth2/authorize

Âmbitos

Name	Description
user_impersonation	representar a sua conta de utilizador

Exemplos

PipelineRuns_QueryByFactory

Pedido de amostra

HTTP

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/queryPipelineRuns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
  "filters": [
    {
      "operand": "PipelineName",
      "operator": "Equals",
      "values": [
        "examplePipeline"
      ]
    }
  ]
}

Java

import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import com.azure.resourcemanager.datafactory.models.RunQueryFilter;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperand;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperator;
import java.time.OffsetDateTime;
import java.util.Arrays;

/**
 * Samples for PipelineRuns QueryByFactory.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * PipelineRuns_QueryByFactory.json
     */
    /**
     * Sample code: PipelineRuns_QueryByFactory.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void pipelineRunsQueryByFactory(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.pipelineRuns().queryByFactoryWithResponse("exampleResourceGroup", "exampleFactoryName",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z"))
                .withFilters(Arrays.asList(new RunQueryFilter().withOperand(RunQueryFilterOperand.PIPELINE_NAME)
                    .withOperator(RunQueryFilterOperator.EQUALS).withValues(Arrays.asList("examplePipeline")))),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Python

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python pipeline_runs_query_by_factory.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.pipeline_runs.query_by_factory(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        filter_parameters={
            "filters": [{"operand": "PipelineName", "operator": "Equals", "values": ["examplePipeline"]}],
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Go

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v9"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/ab04533261eff228f28e08900445d0edef3eb70c/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
func ExamplePipelineRunsClient_QueryByFactory() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewPipelineRunsClient().QueryByFactory(ctx, "exampleResourceGroup", "exampleFactoryName", armdatafactory.RunFilterParameters{
		Filters: []*armdatafactory.RunQueryFilter{
			{
				Operand:  to.Ptr(armdatafactory.RunQueryFilterOperandPipelineName),
				Operator: to.Ptr(armdatafactory.RunQueryFilterOperatorEquals),
				Values: []*string{
					to.Ptr("examplePipeline")},
			}},
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.PipelineRunsQueryResponse = armdatafactory.PipelineRunsQueryResponse{
	// 	Value: []*armdatafactory.PipelineRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3",
	// 				},
	// 			},
	// 			DurationInMs: to.Ptr[int32](28105),
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("80a01654a9d34ad18b3fcac5d5d76b67"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			RunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:44.625Z"); return t}()),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab",
	// 				},
	// 			},
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("7c5fd7ef7e8a464b98b931cf15fcac66"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:51.216Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunID: to.Ptr("16ac5348-ff82-4f95-a80d-638c1d47b721"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:49.274Z"); return t}()),
	// 			Status: to.Ptr("Cancelled"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

JavaScript

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query pipeline runs in the factory based on input filter conditions.
 *
 * @summary Query pipeline runs in the factory based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
 */
async function pipelineRunsQueryByFactory() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const filterParameters = {
    filters: [
      {
        operand: "PipelineName",
        operator: "Equals",
        values: ["examplePipeline"],
      },
    ],
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.pipelineRuns.queryByFactory(
    resourceGroupName,
    factoryName,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

dotnet

using Azure;
using Azure.ResourceManager;
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.Resources;
using Azure.ResourceManager.DataFactory;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
// this example is just showing the usage of "PipelineRuns_QueryByFactory" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"))
{
    Filters =
    {
    new RunQueryFilter(RunQueryFilterOperand.PipelineName,RunQueryFilterOperator.EqualsValue,new string[]
    {
    "examplePipeline"
    })
    },
};
await foreach (DataFactoryPipelineRunInfo item in dataFactory.GetPipelineRunsAsync(content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine($"Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

CLI

az datafactory pipeline-run query-by-factory --factory-name "exampleFactoryName" --filters operand="PipelineName" operator="Equals" values="examplePipeline" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup"

Click here to learn more about the Azure CLI command.

Resposta da amostra

Código de estado:

200

Date: Sat, 16 Jun 2018 00:40:01 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14989
x-ms-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd
x-ms-correlation-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}

Definições

Name	Description
CloudError	O objeto que define a estrutura de uma resposta de erro Azure Data Factory.
PipelineRun	Informações sobre uma execução de pipeline.
PipelineRunInvokedBy	Fornece o nome da entidade e o ID que iniciaram a execução do pipeline.
PipelineRunsQueryResponse	É executado um pipeline de lista.
RunFilterParameters	Parâmetros de consulta para execuções de listagem.
RunQueryFilter	Opção de filtro de consulta para execuções de listagem.
RunQueryFilterOperand	Nome do parâmetro a utilizar para filtrar. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para consultar as execuções de atividades são ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções do acionador são TriggerName, TriggerRunTimestamp e Status.
RunQueryFilterOperator	Operador a ser utilizado para filtrar.
RunQueryOrder	Ordem de ordenação do parâmetro.
RunQueryOrderBy	Um objeto para fornecer ordem por opções para execuções de listagem.
RunQueryOrderByField	Nome do parâmetro a utilizar para encomenda por. Os parâmetros permitidos para encomendar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividades estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de acionadores estão TriggerName, TriggerRunTimestamp e Status.

CloudError

O objeto que define a estrutura de uma resposta de erro Azure Data Factory.

Name	Tipo	Description
error.code	string	Código de erro.
error.details	CloudError[]	Matriz com detalhes de erro adicionais.
error.message	string	Mensagem de erro.
error.target	string	Nome/caminho da propriedade no pedido associado ao erro.

PipelineRun

Informações sobre uma execução de pipeline.

Name	Tipo	Description
durationInMs	integer	A duração de uma execução de pipeline.
invokedBy	PipelineRunInvokedBy	Entidade que iniciou a execução do pipeline.
isLatest	boolean	Indica se a execução do pipeline recuperado é a mais recente no grupo.
lastUpdated	string	O último carimbo de data/hora atualizado do evento de execução do pipeline no formato ISO8601.
message	string	A mensagem de uma execução de pipeline.
parameters	object	A lista completa ou parcial do nome do parâmetro, par de valores utilizado na execução do pipeline.
pipelineName	string	O nome do pipeline.
runDimensions	object	Executar dimensões emitidas pela execução do Pipeline.
runEnd	string	A hora de fim de uma execução de pipeline no formato ISO8601.
runGroupId	string	Identificador que correlaciona todas as execuções de recuperação de uma execução de pipeline.
runId	string	Identificador de uma execução.
runStart	string	A hora de início de uma execução de pipeline no formato ISO8601.
status	string	O estado de uma execução de pipeline. Valores possíveis: Em fila, InProgress, Succeeded, Failed, Canceling, Cancelled

PipelineRunInvokedBy

Fornece o nome da entidade e o ID que iniciaram a execução do pipeline.

Name	Tipo	Description
id	string	O ID da entidade que iniciou a execução.
invokedByType	string	O tipo da entidade que iniciou a execução.
name	string	Nome da entidade que iniciou a execução do pipeline.
pipelineName	string	O nome do pipeline que acionou a execução, se existir.
pipelineRunId	string	O ID de execução do pipeline que acionou a execução, se existir.

PipelineRunsQueryResponse

É executado um pipeline de lista.

Name	Tipo	Description
continuationToken	string	O token de continuação para obter a página seguinte dos resultados, caso existam resultados restantes, é nulo.
value	PipelineRun[]	Lista de execuções de pipelines.

RunFilterParameters

Parâmetros de consulta para execuções de listagem.

Name	Tipo	Description
continuationToken	string	O token de continuação para obter a página seguinte dos resultados. Nulo para a primeira página.
filters	RunQueryFilter[]	Lista de filtros.
lastUpdatedAfter	string	O momento em que o evento de execução foi atualizado no formato "ISO 8601".
lastUpdatedBefore	string	A hora em que o evento de execução foi atualizado no formato "ISO 8601".
orderBy	RunQueryOrderBy[]	Lista da opção OrderBy.

RunQueryFilter

Opção de filtro de consulta para execuções de listagem.

Name	Tipo	Description
operand	RunQueryFilterOperand	Nome do parâmetro a utilizar para filtrar. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para consultar as execuções de atividades são ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções do acionador são TriggerName, TriggerRunTimestamp e Status.
operator	RunQueryFilterOperator	Operador a ser utilizado para filtrar.
values	string[]	Lista de valores de filtro.

RunQueryFilterOperand

Nome do parâmetro a utilizar para filtrar. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para consultar as execuções de atividades são ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções do acionador são TriggerName, TriggerRunTimestamp e Status.

Name	Tipo	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
ActivityType	string
LatestOnly	string
PipelineName	string
RunEnd	string
RunGroupId	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string

RunQueryFilterOperator

Operador a ser utilizado para filtrar.

Name	Tipo	Description
Equals	string
In	string
NotEquals	string
NotIn	string

RunQueryOrder

Ordem de ordenação do parâmetro.

Name	Tipo	Description
ASC	string
DESC	string

RunQueryOrderBy

Um objeto para fornecer ordem por opções para execuções de listagem.

Name	Tipo	Description
order	RunQueryOrder	Ordem de ordenação do parâmetro.
orderBy	RunQueryOrderByField	Nome do parâmetro a utilizar para encomenda por. Os parâmetros permitidos para encomendar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividades estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de acionadores estão TriggerName, TriggerRunTimestamp e Status.

RunQueryOrderByField

Nome do parâmetro a utilizar para encomenda por. Os parâmetros permitidos para encomendar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividades estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de acionadores estão TriggerName, TriggerRunTimestamp e Status.

Name	Tipo	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
PipelineName	string
RunEnd	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string