Implantar trabalhos de pipeline existentes em pontos de extremidade em lote

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Os pontos de extremidade em lote permitem implantar componentes de pipeline, fornecendo uma maneira conveniente de operacionalizar pipelines no Aprendizado de Máquina do Azure. Os pontos de extremidade em lote aceitam componentes de pipeline para implantação. No entanto, se você já tiver um trabalho de pipeline executado com êxito, o Aprendizado de Máquina do Azure poderá aceitar esse trabalho como entrada para seu ponto de extremidade em lote e criar o componente de pipeline automaticamente para você. Neste artigo, você aprenderá a usar seu trabalho de pipeline existente como entrada para implantação em lote.

Ficará a saber como:

• Executar e criar o trabalho de pipeline que você deseja implantar
• Criar uma implantação em lote a partir do trabalho existente
• Testar a implementação

Sobre este exemplo

Neste exemplo, vamos implantar um pipeline que consiste em um trabalho de comando simples que imprime "hello world!". Em vez de registrar o componente de pipeline antes da implantação, indicamos um trabalho de pipeline existente para usar na implantação. O Aprendizado de Máquina do Azure criará o componente de pipeline automaticamente e o implantará como uma implantação de componente de pipeline de ponto de extremidade em lote.

O exemplo neste artigo é baseado em exemplos de código contidos no repositório azureml-examples . Para executar os comandos localmente sem ter que copiar ou colar YAML e outros arquivos, use os seguintes comandos para clonar o repositório e vá para a pasta para sua linguagem de codificação:

CLI do Azure

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Os arquivos para este exemplo estão em:

cd endpoints/batch/deploy-pipelines/hello-batch

Pré-requisitos

• Uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

• Uma área de trabalho do Azure Machine Learning. Para criar um espaço de trabalho, consulte Gerenciar espaços de trabalho do Azure Machine Learning.

• As seguintes permissões no espaço de trabalho do Azure Machine Learning:

  • Para criar ou gerenciar pontos de extremidade e implantações em lote: use um Proprietário, Colaborador ou função personalizada que tenha recebido as Microsoft.MachineLearningServices/workspaces/batchEndpoints/* permissões.
  • Para criar implantações do Azure Resource Manager no grupo de recursos do espaço de trabalho: use um Proprietário, Colaborador ou função personalizada à qual tenha sido atribuída a Microsoft.Resources/deployments/write permissão no grupo de recursos em que o espaço de trabalho está implantado.

• A CLI do Azure Machine Learning ou o SDK do Azure Machine Learning para Python:

  CLI do Azure

  Execute o seguinte comando para instalar a CLI do Azure e a extensão para o ml Azure Machine Learning:

  az extension add -n ml
  

  As implantações de componentes de pipeline para pontos de extremidade em lote são introduzidas na versão 2.7 da ml extensão para a CLI do Azure. Use o az extension update --name ml comando para obter a versão mais recente.

  Python

  Execute o seguinte comando para instalar o SDK do Azure Machine Learning para Python:

  pip install azure-ai-ml
  

  As ModelBatchDeployment classes e PipelineComponentBatchDeployment são introduzidas na versão 1.7.0 do SDK. Use o pip install -U azure-ai-ml comando para obter a versão mais recente.

---

Ligar à sua área de trabalho

O espaço de trabalho é o recurso de nível superior para o Azure Machine Learning. Ele fornece um local centralizado para trabalhar com todos os artefatos que você cria quando usa o Azure Machine Learning. Nesta seção, você se conecta ao espaço de trabalho onde executa suas tarefas de implantação.

CLI do Azure

No comando a seguir, insira sua ID de assinatura, nome do espaço de trabalho, nome do grupo de recursos e local:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Importe as bibliotecas necessárias:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Configure os detalhes do espaço de trabalho e obtenha um identificador para o espaço de trabalho:

   No comando a seguir, insira a ID da assinatura, o nome do grupo de recursos e o nome do espaço de trabalho:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Execute o trabalho de pipeline que você deseja implantar

Nesta seção, começamos executando um trabalho de pipeline:

CLI do Azure

O arquivo a seguir pipeline-job.yml contém a configuração para o trabalho de pipeline:

pipeline-job.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline

experiment_name: hello-pipeline-batch
display_name: hello-pipeline-batch-job
description: This job demonstrates how to run the a pipeline component in a pipeline job. You can use this example to test a component in an standalone job before deploying it in an endpoint.

compute: batch-cluster
component: hello-component/hello.yml

Python

Carregue o componente de pipeline e instancie-o:

hello_batch = load_component(source="hello-component/hello.yml")
pipeline_job = hello_batch()

Agora, defina algumas configurações de execução para executar o teste. Este artigo pressupõe que você tenha um cluster de computação chamado batch-cluster. Você pode substituir o cluster pelo seu nome.

pipeline_job.settings.default_compute = "batch-cluster"
pipeline_job.settings.default_datastore = "workspaceblobstore"

Crie o trabalho de pipeline:

CLI do Azure

JOB_NAME=$(az ml job create -f pipeline-job.yml --query name -o tsv)

Python

pipeline_job_run = ml_client.jobs.create_or_update(
    pipeline_job, experiment_name="hello-batch-pipeline"
)
pipeline_job_run

Criar um ponto de extremidade em lote

Antes de implantarmos o trabalho de pipeline, precisamos implantar um ponto de extremidade em lote para hospedar a implantação.

1. Forneça um nome para o ponto de extremidade. O nome de um ponto de extremidade em lote precisa ser exclusivo em cada região, pois o nome é usado para construir o URI de invocação. Para garantir a exclusividade, acrescente quaisquer caracteres à direita ao nome especificado no código a seguir.

   CLI do Azure

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name="hello-batch"
   

2. Configure o ponto de extremidade:

   CLI do Azure

   O endpoint.yml arquivo contém a configuração do ponto de extremidade.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )
   

3. Crie o ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Consulte o URI do ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)
   

Implantar o trabalho de pipeline

Para implantar o componente de pipeline, precisamos criar uma implantação em lote a partir do trabalho existente.

1. Precisamos dizer ao Azure Machine Learning o nome do trabalho que queremos implantar. No nosso caso, esse trabalho é indicado na seguinte variável:

   CLI do Azure

   echo $JOB_NAME
   

   Python

   print(job.name)
   

2. Configure a implantação.

   CLI do Azure

   O deployment-from-job.yml arquivo contém a configuração da implantação. Observe como usamos a chave job_definition em vez de indicar que essa implantação é criada a partir de um trabalho de component pipeline:

   deployment-from-job.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-from-job
   endpoint_name: hello-pipeline-batch
   type: pipeline
   job_definition: azureml:job_name_placeholder
   settings:
       continue_on_step_failure: false
       default_compute: batch-cluster
   

   Python

   Observe agora como usamos a propriedade job_definition em vez de component:

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-from-job",
       description="A hello world deployment with a single step. This deployment is created from a pipeline job.",
       endpoint_name=endpoint.name,
       job_definition=pipeline_job_run,
       settings={
           "default_compute": "batch-cluster",
           "continue_on_step_failure": False
       }
   )
   

   Gorjeta

   Essa configuração pressupõe que você tenha um cluster de computação chamado batch-cluster. Você pode substituir esse valor pelo nome do cluster.

3. Crie a implantação:

   CLI do Azure

   Execute o código a seguir para criar uma implantação em lote no ponto de extremidade em lote e defini-la como a implantação padrão.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME --set job_definition=azureml:$JOB_NAME -f deployment-from-job.yml
   

   Gorjeta

   Observe o uso de --set job_definition=azureml:$JOB_NAME. Como os nomes de trabalho são exclusivos, o comando --set é usado aqui para alterar o nome do trabalho quando você o executa em seu espaço de trabalho.

   Python

   Este comando inicia a criação da implantação e retorna uma resposta de confirmação enquanto a criação da implantação continua.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()
   

   Uma vez criada, vamos configurar essa nova implantação como padrão:

   endpoint = ml_client.batch_endpoints.get(endpoint.name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Sua implantação está pronta para uso.

Testar a implementação

Depois que a implantação é criada, ela está pronta para receber trabalhos. Você pode invocar a implantação padrão da seguinte maneira:

CLI do Azure

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
)

Você pode monitorar o progresso do show e transmitir os logs usando:

CLI do Azure

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(name=job.name)

Para aguardar a conclusão do trabalho, execute o seguinte código:

ml_client.jobs.stream(name=job.name)

Clean up resources (Limpar recursos)

Quando terminar, exclua os recursos associados do espaço de trabalho:

CLI do Azure

Execute o código a seguir para excluir o ponto de extremidade em lote e sua implantação subjacente. --yes é utilizado para confirmar a eliminação.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Exclua o ponto de extremidade:

ml_client.batch_endpoints.begin_delete(endpoint.name).result()

Próximos passos

• Como implantar um pipeline de treinamento com pontos de extremidade em lote
• Como implantar um pipeline para executar a pontuação em lote com pré-processamento
• Acessar dados de trabalhos de pontos de extremidade em lote
• Resolver problemas com pontos finais em lote