Konfigurieren von MLflow für Azure Machine Learning

In diesem Artikel erfahren Sie, wie Sie MLflow konfigurieren können, um für Nachverfolgung, Registrierungsmanagement und Bereitstellung eine Verbindung mit einem Azure Machine Learning-Arbeitsbereich herzustellen.

Azure Machine Learning-Arbeitsbereiche sind MLflow-kompatibel, was bedeutet, dass sie ohne zusätzliche Konfiguration als MLflow-Server fungieren können. Jeder Arbeitsbereich verfügt über einen MLflow-Nachverfolgungs-URI, mit dem MLflow eine Verbindung mit dem Arbeitsbereich herstellen kann. Azure Machine Learning-Arbeitsbereiche sind bereits für die Verwendung mit MLflow konfiguriert, sodass keine zusätzliche Konfiguration erforderlich ist.

Wenn Sie jedoch außerhalb von Azure Machine Learning arbeiten, müssen Sie MLflow so konfigurieren, dass er auf den Arbeitsbereich verweist. Betroffene Umgebungen umfassen Ihren lokalen Computer, Azure Synapse Analytics und Azure Databricks.

Wichtig

Wenn Sie Azure compute infrastructure verwenden, müssen Sie den Tracking-URI nicht konfigurieren. Es ist automatisch für Sie konfiguriert. Umgebungen mit automatischer Konfiguration umfassen Azure Machine Learning Notebooks, Jupyter Notebooks, die in Azure Machine Learning-Computeinstanzen gehostet werden, und Aufträge, die auf Azure Machine Learning-Computeclustern ausgeführt werden.

Voraussetzungen

• Installieren Sie das MLflow SDK-Paket mlflow und das Azure Machine Learning-Plug-In azureml-mlflow für MLflow. Oder Sie können den folgenden Befehl zum Installieren dieser Software verwenden:

  pip install mlflow azureml-mlflow
  

  Tipp

  Ziehen Sie mlflowstattdessen die Verwendung von mlflow-skinny in Betracht. Dieses Paket ist ein leichtgewichtiges MLflow-Paket ohne SQL-Speicher, Server, Benutzeroberfläche oder Abhängigkeiten zu Data-Science-Bibliotheken. Es wird für Benutzer empfohlen, die hauptsächlich die MLflow-Nachverfolgungs- und Protokollierungsfunktionen benötigen, aber nicht die vollständige Funktionssuite, einschließlich Bereitstellungen, importieren möchten.

• Ein Azure Machine Learning-Arbeitsbereich. Informationen zum Erstellen eines Arbeitsbereichs finden Sie unter Erstellen von Ressourcen für die ersten Schritte.

• Zugriffsberechtigungen zum Ausführen von MLflow-Vorgängen in Ihrem Arbeitsbereich. Eine Liste der Vorgänge und erforderlichen Berechtigungen finden Sie unter MLflow-Vorgänge.

Konfigurieren des MLflow-Nachverfolgungs-URI

Wenn Sie eine Remotenachverfolgung durchführen, d. h. eine Nachverfolgung von Experimenten, die außerhalb von Azure Machine Learning ausgeführt werden, konfigurieren Sie MLflow so, dass auf den Nachverfolgungs-URI Ihres Azure Machine Learning-Arbeitsbereichs verwiesen wird.

Um MLflow mit einem Azure Machine Learning-Arbeitsbereich zu verbinden, benötigen Sie den Nachverfolgungs-URI für den Arbeitsbereich. Jeder Arbeitsbereich verfügt über einen eigenen Tracking-URI, der mit dem Protokoll azureml://beginnt.

1. Rufen Sie den Nachverfolgungs-URI für Ihren Arbeitsbereich ab:

   Azure-Befehlszeilenschnittstelle

   GILT FÜRAzure CLI-ML-Erweiterung v2 (aktuell)

   1. Melden Sie sich an, und konfigurieren Sie Ihren Arbeitsbereich:

      az account set --subscription <subscription-ID>
      az configure --defaults workspace=<workspace-name> group=<resource-group-name> location=<location> 
      

   2. Rufen Sie den Nachverfolgungs-URI mithilfe des Befehls az ml workspace ab:

      az ml workspace show --query mlflow_tracking_uri
      

   Python SDK

   GILT FÜR: Python SDK azure-ai-ml v2 (aktuell)

   Sie können den MLflow-Nachverfolgungs-URI von Azure Machine Learning mithilfe des Azure Machine Learning SDK v2 für Python abrufen. Stellen Sie sicher, dass die azure-ai-ml-Bibliothek in Ihrer Compute-Instanz installiert ist. Verwenden Sie dann den folgenden Code, um den eindeutigen MLfLow-Nachverfolgungs-URI abzurufen, der Ihrem Arbeitsbereich zugeordnet ist.

   1. Verwenden Sie eine Instanz von MLClient, mit der Sie sich bei Ihrem Arbeitsbereich anmelden können. Es gibt zwei Möglichkeiten zur Anmeldung:

      • Die einfachste Möglichkeit besteht darin, die Konfigurationsdatei des Arbeitsbereichs zu verwenden:

        from azure.ai.ml import MLClient
        from azure.identity import DefaultAzureCredential
        
        ml_client = MLClient.from_config(credential=DefaultAzureCredential())
        

        Tipp

        Sie können die Konfigurationsdatei des Arbeitsbereichs herunterladen, indem Sie die folgenden Schritte ausführen:

        1. Navigieren Sie zu Azure Machine Learning Studio.
        2. Wählen Sie in der rechten oberen Ecke den Namen Ihres Arbeitsbereichs aus.
        3. Wählen Sie im Fenster „Verzeichnis“ > „Abonnement“ > „Arbeitsbereich“ die Option Konfigurationsdatei herunterladen aus.
        4. Speichern Sie die Datei „config.json“ in Ihrem Arbeitsverzeichnis.

      • Alternativ können Sie zum Anmelden auch Ihre Abonnement-ID, den Ressourcengruppennamen und den Arbeitsbereichsnamen verwenden:

        from azure.ai.ml import MLClient
        from azure.identity import DefaultAzureCredential
        
        # Enter information about your Azure Machine Learning workspace.
        subscription_id = "<subscription-ID>"
        resource_group = "<resource-group-name>"
        workspace_name = "<workspace-name>"
        
        ml_client = MLClient(credential=DefaultAzureCredential(),
                                 subscription_id=subscription_id, 
                                 resource_group_name=resource_group,
                                 workspace_name=workspace_name)
        

        Wichtig

        Die DefaultAzureCredential-Methode versucht, die Anmeldeinformationen aus dem verfügbaren Kontext abzurufen. Sie können die Anmeldeinformationen aber auch auf andere Weise angeben, z. B. indem Sie interaktiv einen Webbrowser verwenden. In diesen Fällen können Sie InteractiveBrowserCredential oder eine beliebige andere Methode aus dem Paket azure.identity verwenden.

   2. Rufen Sie den Azure Machine Learning-Nachverfolgungs-URI ab:

      mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
      

   Studio

   Verwenden Sie Azure Machine Learning Studio, um den Tracking-URI abzurufen:

   1. Öffnen Sie Azure Machine Learning Studio und verwenden Sie Ihre Anmeldeinformationen für die Anmeldung.

   2. Wählen Sie in der rechten oberen Ecke den Namen Ihres Arbeitsbereichs aus.

   3. Wählen Sie im Fenster „Verzeichnis“ > „Abonnement“ > „Arbeitsbereich“ die Option Alle Eigenschaften im Azure-Portal anzeigen aus. Die Ressourcenseite für Ihren Arbeitsbereich wird im Azure-Portal geöffnet.

   4. Kopieren Sie unter Grundlagen den Wert von MLflow-Tracking-URI.

   Manuell

   Sie können den Azure Machine Learning-Tracking-URI manuell erstellen. Sie benötigen dazu Ihre Abonnement-ID, die Region, in der Ihr Arbeitsbereich bereitgestellt wurde, Ihren Ressourcengruppennamen und Ihren Arbeitsbereichsnamen. Um den URI abzurufen, fügen Sie diese Werte in den folgenden Code ein:

   Warnung

   Wenn Sie in einem Arbeitsbereich mit aktivierter privater Verbindung arbeiten, verwendet der MLflow-Endpunkt ebenfalls eine private Verbindung, um mit Azure Machine Learning zu kommunizieren. Daher hat der Nachverfolgungs-URI ein Format, das sich von dem in diesem Artikel unterscheidet. In diesem Fall müssen Sie das Azure Machine Learning SDK für Python oder die Azure Machine Learning CLI v2 verwenden, um den Tracking-URI abzurufen.

   region = "<region>"
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace_name = "<workspace-name>"
   
   mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
   

2. Konfigurieren Sie den Nachverfolgungs-URI:

   MLflow SDK

   Verwenden Sie die set_tracking_uri()-Methode, um den MLflow-Tracking-URI auf den Nachverfolgungs-URI Ihres Arbeitsbereichs festzulegen.

   import mlflow
   
   mlflow.set_tracking_uri(mlflow_tracking_uri)
   

   Umgebungsvariablen

   Verwenden Sie in Ihrer Compute-Instanz den folgenden Code, um die MLflow-Umgebungsvariable MLFLOW_TRACKING_URI auf den Nachverfolgungs-URI Ihres Arbeitsbereichs festzulegen. Diese Zuweisung verweist alle Interaktionen mit MLflow in dieser Compute-Instanz standardmäßig auf Azure Machine Learning. Weitere Informationen finden Sie unter Protokollierungsfunktionen.

   MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
   

   Tipp

   Einige Szenarien umfassen das Arbeiten in einer freigegebenen Umgebung wie einem Azure Databricks-Cluster oder einem Azure Synapse Analytics-Cluster. In diesen Fällen ist es hilfreich, die Umgebungsvariable MLFLOW_TRACKING_URI auf Clusterebene und nicht für jede Sitzung einzeln festzulegen. Wenn Sie die Variable auf Clusterebene festlegen, wird der MLflow-Tracking-URI automatisch so konfiguriert, dass er bei allen Sitzungen im Cluster auf Azure Machine Learning verweist.

Authentifizierung konfigurieren

Sobald die Nachverfolgung eingerichtet ist, müssen Sie auch die Authentifizierungsmethode für den zugeordneten Arbeitsbereich konfigurieren.

Standardmäßig führt das Azure Machine Learning-Plug-In für MLflow eine interaktive Authentifizierung durch, indem es den Standardbrowser öffnet und Anmeldeinformationen anfordert. Das Plug-In unterstützt aber auch mehrere andere Authentifizierungsmechanismen. Das azure-identity Paket bietet diese Unterstützung. Dieses Paket wird als Abhängigkeit des azureml-mlflow Plug-Ins installiert.

Der Authentifizierungsprozess versucht nacheinander die folgenden Methoden, bis eine erfolgreich ist:

1. Umgebung: Kontoinformationen, die über Umgebungsvariablen angegeben werden, werden für die Authentifizierung gelesen und verwendet.
2. Verwaltete Identität: Wenn die Anwendung auf einem Azure-Host mit aktivierter verwalteter Identität bereitgestellt wird, wird die verwaltete Identität für die Authentifizierung verwendet.
3. Azure CLI: Wenn Sie den Azure CLI-Befehl az login zum Anmelden verwenden, werden Ihre Anmeldeinformationen für die Authentifizierung verwendet.
4. Azure PowerShell: Wenn Sie den Azure PowerShell-Befehl Connect-AzAccount zum Anmelden verwenden, werden Ihre Anmeldeinformationen für die Authentifizierung verwendet.
5. Interaktiver Browser: Der Benutzer wird interaktiv über den Standardbrowser authentifiziert.

Bei interaktiven Aufträgen, bei denen Benutzende mit der Sitzung verbunden sind, können Sie die interaktive Authentifizierung nutzen. Es ist keine weitere Aktion erforderlich.

Warnung

Die interaktive Browserauthentifizierung blockiert die Codeausführung, wenn zur Eingabe von Anmeldeinformationen aufgefordert wird. Dieser Ansatz eignet sich nicht für die Authentifizierung in unbeaufsichtigten Umgebungen wie Trainingsaufträgen. Es wird empfohlen, einen anderen Authentifizierungsmodus in diesen Umgebungen zu konfigurieren.

In Szenarien, in denen eine unbeaufsichtigte Ausführung erforderlich ist, müssen Sie einen Dienstprinzipal für die Kommunikation mit Azure Machine Learning konfigurieren. Informationen zum Erstellen eines Dienstprinzipals finden Sie unter Konfigurieren eines Dienstprinzipals.

Verwenden Sie die Mandanten-ID, die Client-ID und den geheimen Clientschlüssel Ihres Dienstprinzipals im folgenden Code:

MLflow SDK

import os

os.environ["AZURE_TENANT_ID"] = "<Azure-tenant-ID>"
os.environ["AZURE_CLIENT_ID"] = "<Azure-client-ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<Azure-client-secret>"

Umgebungsvariablen

export AZURE_TENANT_ID="<Azure-tenant-ID>"
export AZURE_CLIENT_ID="<Azure-client-ID>"
export AZURE_CLIENT_SECRET="<Azure-client-secret>"

Tipp

Für die Arbeit in gemeinsam genutzten Umgebungen wird empfohlen, diese Umgebungsvariablen auf Computeebene zu konfigurieren. Als bewährte Methode empfiehlt es sich, diese als Geheimnisse in einer Azure Key Vault-Instanz zu verwalten.

In Azure Databricks können Sie beispielsweise Geheimnisse in Umgebungsvariablen wie folgt in der Clusterkonfiguration verwenden: AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Weitere Informationen zum Implementieren dieses Ansatzes in Azure Databricks finden Sie unter Verweisen auf ein Geheimnis in einer Umgebungsvariablen oder in der Dokumentation für Ihre Plattform.

Wenn Sie lieber ein Zertifikat als einen geheimen Schlüssel verwenden möchten, können Sie die folgenden Umgebungsvariablen konfigurieren:

• Legen Sie AZURE_CLIENT_CERTIFICATE_PATH den Pfad einer Datei fest, die das Zertifikat- und private Schlüsselpaar im Format Privacy Enhanced Mail (PEM) oder Public-Key Cryptography Standards 12 (PKCS #12) enthält.
• Legen Sie AZURE_CLIENT_CERTIFICATE_PASSWORD das Kennwort der Zertifikatdatei fest, wenn sie ein Kennwort verwendet.

Konfigurieren von Autorisierungs- und Berechtigungsstufen

Einige Standardrollen wie AzureML – Wissenschaftliche Fachkraft für Daten und Mitwirkender sind bereits für die Ausführung von MLflow-Vorgängen in einem Azure Machine Learning-Arbeitsbereich konfiguriert. Wenn Sie eine benutzerdefinierte Rolle verwenden, benötigen Sie die folgenden Berechtigungen:

• So verwenden Sie die MLflow-Nachverfolgung:

  • Microsoft.MachineLearningServices/workspaces/experiments/*
  • Microsoft.MachineLearningServices/workspaces/jobs/*

• Zur Verwendung der MLflow-Modellregistrierung:

  • Microsoft.MachineLearningServices/workspaces/models/*/*

Informationen zum Gewähren des Zugriffs auf Ihren Arbeitsbereich zu einem Dienstprinzipal, den Sie erstellen oder auf Ihr Benutzerkonto anwenden, finden Sie unter Gewähren des Zugriffs.

Behandeln von Authentifizierungsproblemen

MLflow versucht, sich beim ersten Vorgang, der mit dem Dienst interagiert (z. B mlflow.set_experiment() oder mlflow.start_run()), bei Azure Machine Learning zu authentifizieren. Wenn Sie während des Prozesses Probleme oder unerwartete Authentifizierungsaufforderungen feststellen, können Sie den Protokollierungsgrad erhöhen, um weitere Details zum Fehler zu erhalten:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Festlegen des Experimentnamens (optional)

Alle MLflow-Ausführungen werden im aktiven Experiment protokolliert. Standardmäßig werden Ausführungen mit einem Experiment namens Default protokolliert, das automatisch für Sie erstellt wird. Sie können das Experiment konfigurieren, das für die Nachverfolgung verwendet wird.

Tipp

Wenn Sie die Azure Machine Learning CLI v2 zum Übermitteln von Aufträgen verwenden, können Sie den Experimentnamen mithilfe der experiment_name Eigenschaft in der YAML-Definition des Auftrags festlegen. Sie müssen ihn nicht in Ihrem Trainingsskript konfigurieren. Weitere Informationen finden Sie unter YAML: Anzeigename, Experimentname, Beschreibung und Tags.

MLflow SDK

Verwenden Sie den MLflow-Befehl mlflow.set_experiment(), um Ihr Experiment zu konfigurieren.

experiment_name = "experiment_with_mlflow"
mlflow.set_experiment(experiment_name)

Umgebungsvariablen

Verwenden Sie die MLflow MLFLOW_EXPERIMENT_NAME oder MLFLOW_EXPERIMENT_ID Umgebungsvariable, um Ihr Experiment zu konfigurieren. Weitere Informationen finden Sie unter Befehlszeilenschnittstelle oder mlflow.start_run.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Konfigurieren der Unterstützung für eine nicht öffentliche Azure-Cloud

Das Azure Machine Learning-Plug-In für MLflow ist standardmäßig für die Verwendung mit der globalen Azure-Cloud konfiguriert. Sie können jedoch die verwendete Azure-Cloud konfigurieren, indem Sie die Umgebungsvariable AZUREML_CURRENT_CLOUD festlegen:

MLflow SDK

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

Umgebungsvariablen

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

Sie können die verwendete Cloud mit dem folgenden Azure CLI-Befehl identifizieren:

az cloud list

Für die aktuelle Cloud ist der Wert IsActive auf True festgelegt.

Zugehöriger Inhalt

Nachdem Ihre Umgebung nun mit Ihrem Arbeitsbereich in Azure Machine Learning verbunden ist, können Sie die Arbeit damit aufnehmen.

• Verfolgen von Experimenten und Modellen mit MLflow
• Verwalten einer Modellregistrierung in Azure Machine Learning mit MLflow
• Training mit MLflow-Projekten in Azure Machine Learning (Vorschau)
• Leitlinien für die Bereitstellung von MLflow-Modellen