Configurar o MLflow para o Azure Machine Learning

Este artigo explica como configurar o MLflow para se conectar a um workspace do Azure Machine Learning para acompanhamento, gerenciamento de registro e implantação.

Os espaço de trabalhos do Azure Machine Learning são compatíveis com o MLflow, o que significa que podem atuar como servidores MLflow sem nenhuma configuração extra. Cada workspace tem um URI de acompanhamento do MLflow que o MLflow pode usar para se conectar ao workspace. Os espaço de trabalhos do Azure Machine Learning já estão configurados para trabalhar com o MLflow, portanto, não é necessária nenhuma configuração extra.

No entanto, se você trabalhar fora do Azure Machine Learning, será necessário configurar o MLflow para apontar para o espaço de trabalho. Os ambientes afetados incluem seu computador local, Azure Synapse Analytics e Azure Databricks.

Importante

Quando você usa a infraestrutura de computação do Azure, não é necessário configurar o URI de acompanhamento. É configurado automaticamente para você. Os ambientes com configuração automática incluem notebooks do Azure Machine Learning, notebooks Jupyter hospedados em instâncias de computação do Azure Machine Learning e trabalhos que são executados em clusters de computação do Azure Machine Learning.

Pré-requisitos

• O pacote mlflow do SDK do MLflow e o plug-in azureml-mlflow do Azure Machine Learning para MLflow. Você pode usar o seguinte comando para instalar esse software:

  pip install mlflow azureml-mlflow
  

  Dica

  Em vez de mlflow, considere usar mlflow-skinny. Esse pacote é um pacote MLflow leve sem armazenamento SQL, servidor, interface do usuário ou dependências de ciência de dados. Ele é recomendado para usuários que precisam principalmente de recursos de acompanhamento e registro do MLflow, mas não querem importar o conjunto completo de recursos, incluindo implantações.

• Um workspace do Azure Machine Learning. Para criar um workspace, consulte Como criar os recursos necessários para começar.

• Permissões de acesso para realizar operações do MLflow no espaço de trabalho. Para obter uma lista de operações e permissões necessárias, confira operações do MLflow.

Configurar o URI de acompanhamento do MLflow

Para efetuar o acompanhamento remoto ou para acompanhar experimentos que estão sendo executados fora do Azure Machine Learning, configure o MLflow para apontar para o URI de acompanhamento do seu workspace do Azure Machine Learning.

Para conectar o MLflow a um workspace do Azure Machine Learning, você precisará do URI de acompanhamento do espaço de trabalho. Cada espaço de trabalho tem seu próprio URI de acompanhamento, que começa com o protocolo azureml://.

1. Obtenha o URI de acompanhamento para seu workspace:

   CLI do Azure

   APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

   1. Entre e configure seu espaço de trabalho:

      az account set --subscription <subscription-ID>
      az configure --defaults workspace=<workspace-name> group=<resource-group-name> location=<location> 
      

   2. Obtenha o URI de acompanhamento usando o comando az ml workspace:

      az ml workspace show --query mlflow_tracking_uri
      

   SDK do Python

   APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

   Você pode usar o SDK do Azure Machine Learning v2 para Python para obter o URI de acompanhamento do MLflow do Azure Machine Learning. Verifique se a biblioteca azure-ai-ml está instalada na instância de computação. Em seguida, use o código a seguir para obter o URI de acompanhamento exclusivo do MLFLow associado ao espaço de trabalho.

   1. Use uma instância de MLClient para entrar no espaço de trabalho. Há duas opções para entrar:

      • A maneira mais fácil é usar o arquivo de configuração do espaço de trabalho:

        from azure.ai.ml import MLClient
        from azure.identity import DefaultAzureCredential
        
        ml_client = MLClient.from_config(credential=DefaultAzureCredential())
        

        Dica

        Você pode baixar o arquivo de configuração do espaço de trabalho seguindo estas etapas:

        1. Acesse o Estúdio do Azure Machine Learning.
        2. No canto superior direito, selecione o nome do espaço de trabalho.
        3. Na janela Diretório + Assinatura + Workspace, selecione Baixar arquivo de configuração.
        4. Salve o arquivo config.json no diretório em que você está trabalhando.

      • Como alternativa, você pode usar a ID da assinatura, o nome do grupo de recursos e o nome do espaço de trabalho para entrar:

        from azure.ai.ml import MLClient
        from azure.identity import DefaultAzureCredential
        
        # Enter information about your Azure Machine Learning workspace.
        subscription_id = "<subscription-ID>"
        resource_group = "<resource-group-name>"
        workspace_name = "<workspace-name>"
        
        ml_client = MLClient(credential=DefaultAzureCredential(),
                                 subscription_id=subscription_id, 
                                 resource_group_name=resource_group,
                                 workspace_name=workspace_name)
        

        Importante

        O método DefaultAzureCredential tenta obter credenciais do contexto disponível. Mas talvez você queira especificar credenciais de uma maneira diferente, por exemplo, usando o navegador da Web de forma interativa. Nesses casos, você pode usar InteractiveBrowserCredential ou qualquer outro método disponível no pacote azure.identity.

   2. Obter o URI de acompanhamento do Azure Machine Learning:

      mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
      

   Estúdio

   Use o Estúdio do Azure Machine Learning para obter o URI de acompanhamento:

   1. Abra o Estúdio do Azure Machine Learning e use suas credenciais para entrar.

   2. No canto superior direito, selecione o nome do espaço de trabalho.

   3. Na janela Diretório + Assinatura + Workspace, selecione Exibir todas as propriedades no Portal do Azure. A página de recursos do espaço de trabalho será aberta no portal do Azure.

   4. Em Essenciais, copie o valor URI de acompanhamento do MLflow.

   Manualmente

   Você pode construir manualmente o URI de acompanhamento do Azure Machine Learning. Você precisa da ID da assinatura, da região em que o espaço de trabalho está implantado, do nome do grupo de recursos e do nome do espaço de trabalho. Para obter o URI, insira esses valores no seguinte código:

   Aviso

   Se você usar um espaço de trabalho com link privado habilitado, o ponto de extremidade do MLflow também usará um link privado para se comunicar com o Azure Machine Learning. Como resultado, o URI de acompanhamento usará um formato diferente do desse artigo. Nesse caso, você precisa usar o SDK do Azure Machine Learning para Python ou a CLI do Azure Machine Learning v2 para obter o URI de acompanhamento.

   region = "<region>"
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace_name = "<workspace-name>"
   
   mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
   

2. Configurar o URI de acompanhamento:

   MLflow SDK

   Use o método set_tracking_uri() para definir o URI de acompanhamento do MLflow como o URI de acompanhamento do espaço de trabalho.

   import mlflow
   
   mlflow.set_tracking_uri(mlflow_tracking_uri)
   

   Variáveis de ambiente

   Na instância de computação, use o código a seguir para definir a variável de ambiente MLFLOW_TRACKING_URI do MLflow para o URI de acompanhamento do espaço de trabalho. Essa atribuição faz com que todas as interações com o MLflow nessa instância de computação apontem para o Azure Machine Learning por padrão. Para obter mais informações, confira Funções de registro.

   MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
   

   Dica

   Alguns cenários envolvem o trabalho em um ambiente compartilhado, como um cluster do Azure Databricks ou um cluster do Azure Synapse Analytics. Nesses casos, é útil definir a variável de ambiente MLFLOW_TRACKING_URI no nível do cluster em vez de para cada sessão. Definir a variável no nível do cluster configura automaticamente o URI de acompanhamento do MLflow para apontar para o Azure Machine Learning para todas as sessões no cluster.

Configurar autenticação

Depois de configurar o acompanhamento, você também precisará configurar o método de autenticação para o espaço de trabalho associado.

Por padrão, o plug-in do Azure Machine Learning para MLflow executará a autenticação interativa abrindo o navegador padrão para solicitar credenciais. Mas o plug-in também dá suporte para vários outros mecanismos de autenticação. O pacote azure-identity oferece esse suporte. Este pacote é instalado como uma dependência do plug-in azureml-mlflow.

O processo de autenticação tenta os seguintes métodos, um após o outro, até que um seja bem-sucedido:

1. Ambiente: as informações da conta especificadas por meio de variáveis de ambiente são lidas e usadas para autenticação.
2. Identidade gerenciada: se o aplicativo for implantado em um host do Azure com uma identidade gerenciada habilitada, a identidade gerenciada será usada para autenticação.
3. CLI do Azure: se você usar o comando az login da CLI do Azure para entrar, suas credenciais serão usadas para autenticação.
4. Azure PowerShell: se você usar o comando Connect-AzAccount do Azure PowerShell para entrar, suas credenciais serão usadas para autenticação.
5. Navegador interativo: o usuário é autenticado de forma interativa por meio do navegador padrão.

Para trabalhos interativos em que há um usuário conectado à sessão, você pode contar com a autenticação interativa. Nenhuma ação do usuário é necessária.

Aviso

A autenticação por navegador interativo bloqueia a execução do código quando solicita credenciais. Essa abordagem não é adequada para autenticação em ambientes não assistidos, como trabalhos de treinamento. Recomendamos que você configure um modo de autenticação diferente nesses ambientes.

Para cenários que exigem execução sem intervenção, é necessário configurar uma entidade de serviço para se comunicar com o Azure Machine Learning. Para obter informações sobre como criar um entidade de serviço, confira Configurar um entidade de serviço.

Use a ID do locatário, a ID do cliente e o segredo do cliente da entidade de serviço no código a seguir:

MLflow SDK

import os

os.environ["AZURE_TENANT_ID"] = "<Azure-tenant-ID>"
os.environ["AZURE_CLIENT_ID"] = "<Azure-client-ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<Azure-client-secret>"

Variáveis de ambiente

export AZURE_TENANT_ID="<Azure-tenant-ID>"
export AZURE_CLIENT_ID="<Azure-client-ID>"
export AZURE_CLIENT_SECRET="<Azure-client-secret>"

Dica

Quando você trabalhar em ambientes compartilhados, recomendamos que você configure essas variáveis de ambiente no nível da computação. Como melhor prática, gerencie-os como segredos em uma instância do Azure Key Vault.

Por exemplo, na configuração de um cluster do Azure Databricks, você pode usar segredos em variáveis de ambiente da seguinte maneira: AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Para obter mais informações sobre como implementar essa abordagem no Azure Databricks, confira Referenciar um segredo em uma variável de ambiente ou consulte a documentação da sua plataforma.

Se preferir usar um certificado em vez de um segredo, você poderá configurar as seguintes variáveis de ambiente:

• Defina AZURE_CLIENT_CERTIFICATE_PATH como o caminho de um arquivo que contém o par de chave privada e certificado no formato PEM (Privacy Enhanced Mail) ou PKCS #12 (Public-Key Cryptography Standards 12).
• Defina AZURE_CLIENT_CERTIFICATE_PASSWORD como a senha do arquivo de certificado, se ele usar uma senha.

Configurar níveis de autorização e permissão

Algumas funções padrão, como Cientista de Dados do AzureML e Colaborador, já estão configuradas para executar operações do MLflow em um workspace do Azure Machine Learning. Se você usar uma função personalizada, precisará das seguintes permissões:

• Para usar o acompanhamento do MLflow:

  • Microsoft.MachineLearningServices/workspaces/experiments/*
  • Microsoft.MachineLearningServices/workspaces/jobs/*

• Para usar o registro de modelo do MLflow:

  • Microsoft.MachineLearningServices/workspaces/models/*/*

Para ver como conceder acesso ao espaço de trabalho a uma entidade de serviço que você criar ou à sua conta de usuário, confira Conceder acesso.

Solucionar problemas de autenticação

O MLflow tenta se autenticar no Azure Machine Learning na primeira operação que interage com o serviço, como mlflow.set_experiment() ou mlflow.start_run(). Se você tiver problemas ou solicitações de autenticação inesperadas durante o processo, poderá aumentar o nível de log para obter mais detalhes sobre o erro:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Definir o nome do experimento (opcional)

Todas as execuções do MLflow são registradas no experimento ativo. Por padrão, as execuções são registradas em um experimento chamado Default, que é criado automaticamente para você. Você pode configurar o experimento que é usado para acompanhamento.

Dica

Quando você usa a CLI do Azure Machine Learning v2 para enviar trabalhos, poderá definir o nome do experimento usando a propriedade experiment_name na definição YAML do trabalho. Você não precisa configurá-lo no script de treinamento. Para obter mais informações, confira YAML: nome de exibição, nome do experimento, descrição e marcas.

MLflow SDK

Use o comando mlflow.set_experiment() do MLflow para configurar seu experimento.

experiment_name = "experiment_with_mlflow"
mlflow.set_experiment(experiment_name)

Variáveis de ambiente

Use a variável de ambiente MLFLOW_EXPERIMENT_NAME ou MLFLOW_EXPERIMENT_ID do MLflow para configurar seu experimento. Para obter mais informações, confira Interface de Linha de Comando ou mlflow.start_run.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Configurar o suporte para uma nuvem do Azure não pública

O plug-in do Azure Machine Learning para MLflow é configurado por padrão para trabalhar com a nuvem global do Azure. No entanto, você pode configurar a nuvem do Azure que está usando definindo a variável de ambiente AZUREML_CURRENT_CLOUD:

MLflow SDK

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

Variáveis de ambiente

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

É possível identificar a nuvem que você está usando com o seguinte comando da CLI do Azure:

az cloud list

A nuvem atual tem o valor IsActive definido como True.

Conteúdo relacionado

Agora que seu ambiente está conectado ao workspace no Azure Machine Learning, você pode começar a trabalhar com ele.

• Acompanhar experimentos e modelos com o MLflow
• Gerenciar o registro de modelos no Azure Machine Learning com o MLflow
• Treinar com Projetos do MLflow no Azure Machine Learning (versão prévia)
• Diretrizes para implantar modelos do MLflow