MLflow を使用して Azure Machine Learning でモデルレジストリを管理する

[アーティクル]
10/16/2024

Azure Machine Learning では、ワークスペースに接続している場合、モデル管理用の MLflow がサポートされています。このアプローチは、MLFlow クライアントに精通しているユーザーにとって、モデルのライフサイクル全体をサポートする便利な方法です。

この記事では、MLflow を使用してモデルレジストリを管理するための機能と、この方法と他の管理オプションとの比較について説明します。

前提条件

MLflow SDK mlflow パッケージと MLflow 用の Azure Machine Learning azureml-mlflow プラグインを次のようにインストールします。
```
pip install mlflow azureml-mlflow
```
ヒント

SQL ストレージ、サーバー、UI、またはデータサイエンスの依存関係のない軽量 MLflow パッケージであるパッケージ mlflow-skinny を使用できます。このパッケージは、デプロイを含む一連の機能をインポートせずに、MLflow の追跡とログ記録の機能を主に必要とするユーザーに推奨されます。
Azure Machine Learning ワークスペースを作成します。ワークスペースを作成するには、「開始する必要があるリソースを作成する」を参照してください。ワークスペース内で MLflow 操作を実行するために必要なアクセス許可を確認します。
リモート追跡 (つまり、Azure Machine Learning の外部で実行されている実験の追跡) を実行する場合は、Azure Machine Learning ワークスペースの追跡 URI を指すように MLflow を構成します。 MLflow をワークスペースに接続する方法の詳細については、「Azure Machine Learning 用に MLflow を構成する」を参照してください。

この記事の手順では、client オブジェクトを使用して MLflow クライアントを参照します。

一部の操作は、MLflow fluent API (mlflow.<method>) を使用して直接実行できます。その他の操作では、MLflow プロトコルで Machine Learning との通信を有効にするために MLflow クライアントが必要です。次のコードでは、MlflowClient オブジェクトを作成します。
```
import mlflow

client = mlflow.tracking.MlflowClient()
```

制限事項

Azure Machine Learning では、モデルの名前変更はサポートされていません。
Machine Learning では、モデルコンテナー全体の削除はサポートされていません。
組織レジストリは、MLflow を使用したモデル管理ではサポートされていません。
特定のモデルステージからのモデルデプロイは、Machine Learning では現在サポートされていません。
ワークスペース間の操作は、Machine Learning では現在サポートされていません。

新しいモデルを登録する

モデルレジストリは、ワークスペースでモデルを管理するための便利で一元的な方法を提供します。各ワークスペースには、独自の独立したモデルレジストリがあります。次のセクションでは、MLflow SDK を使用してモデルをレジストリに登録する 2 つの方法を示します。

既存の実行からモデルを作成する

MLflow モデルが実行の内部でログ記録されていて、それをレジストリに登録する場合は、モデルがログ記録されている実行 ID とパスを使用します。この情報は、「MLflow を使用して実験と実行を管理する」の手順に従ってクエリを実行できます。

mlflow.register_model(f"runs:/{run_id}/{artifact_path}", model_name)

Note

モデルは、実行が追跡されたのと同じワークスペース内のレジストリだけに登録できます。ワークスペース間の操作は、Azure Machine Learning では現在サポートされていません。

ヒント

実行から、または mlflow.<flavor>.log_model メソッドを使用して実行の内部からモデルを登録します。このアプローチでは、資産を生成したジョブからの系列が保持されます。

資産からモデルを作成する

MLModel MLflow モデルを含むフォルダーがある場合は、直接登録できます。実行のコンテキストで常にモデルを使用する必要はありません。このアプローチでは、URI スキーマ file://path/to/model を使用して、ローカルファイルシステムに保存されている MLflow モデルを登録できます。

次のコードは、scikit-learn パッケージを使用して単純なモデルを作成し、そのモデルを MLflow 形式でローカルストレージに保存します。

from sklearn import linear_model

reg = linear_model.LinearRegression()
reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])

mlflow.sklearn.save_model(reg, "./regressor")

ヒント

save_model() メソッドは log_model() メソッドと同じように動作します。 log_model() メソッドはアクティブな実行の内部でモデルを保存しますが、save_model() メソッドはローカルファイルシステムを使用してモデルを保存します。

次のコードは、ローカルパスを使用してモデルを登録します。

import os

model_local_path = os.path.abspath("./regressor")
mlflow.register_model(f"file://{model_local_path}", "local-model-test")

モデルレジストリに対してクエリを実行する

MLflow SDK を使用して、レジストリに登録されているモデルのクエリと検索を行うことができます。次のセクションでは、モデルに対してクエリを実行する 2 つの方法を示します。

レジストリ内のすべてのモデルに対してクエリを実行する

MLflow クライアントを使用して、レジストリに登録されているすべてのモデルに対してクエリを実行できます。

次のコードは、レジストリ内のすべてのモデルの名前を出力します。

for model in client.search_registered_models():
    print(f"{model.name}")

order_by メソッドを使用して、name、version、creation_timestamp、last_updated_timestamp などの特定のプロパティで出力を整理します。

client.search_registered_models(order_by=["name ASC"])

Note

MLflow バージョンが 2.0 より前の場合は、代わりに MlflowClient.list_registered_models() メソッドを使用します。

特定のモデルバージョンを取得する

search_registered_models() メソッドは、すべてのモデルバージョンを含むモデルオブジェクトを取得します。特定のモデルの最後に登録されたモデルバージョンを取得するには、get_registered_model() メソッドを使用します。

client.get_registered_model(model_name)

モデルの特定のバージョンを取得するには、次のコードを使用します。

client.get_model_version(model_name, version=2)

レジストリからモデルを読み込む

レジストリからモデルを直接読み込んで、ログに記録されたモデルオブジェクトを復元できます。このタスクでは、関数 mlflow.<flavor>.load_model() または mlflow.pyfunc.load_model() を使用して、読み込むモデルの URI を指定します。

これらの関数は、次の構文を使用して実装できます。

models:/<model-name>/latest: モデルの最新のバージョンを読み込みます。
models:/<model-name>/<version-number>: モデルの特定のバージョンを読み込みます。
models:/<model-name>/<stage-name>: モデルの特定のステージで特定のバージョンを読み込みます。詳細については、「モデルステージを操作する」を参照してください。

関数 mlflow.<flavor>.load_model() と mlflow.pyfunc.load_model() の違いを理解するには、「MLflow モデルを読み込むためのワークフロー」を参照してください。

モデルステージを操作する

MLflow では、モデルのライフサイクルを管理するためのモデルのステージがサポートされています。モデルバージョンは、あるステージから別のステージに移行できます。ステージはモデルの特定のバージョンに割り当てられます。 1 つのモデルが異なるステージで複数のバージョンを持つことができます。

重要

ステージには、MLflow SDK を使用してのみアクセスできます。これらは Azure Machine Learning スタジオには表示されません。 Azure Machine Learning SDK、Azure Machine Learning CLI、または Azure Machine Learning REST API を使用してステージを取得することはできません。特定のモデルステージからのデプロイは現在サポートされていません。

モデルステージに対してクエリを実行する

次のコードは、MLflow クライアントを使用して、モデルで可能なすべてのステージを確認します。

client.get_model_version_stages(model_name, version="latest")

レジストリからモデルを取得すると、各モデルステージのモデルバージョンを確認できます。次のコードは、現在 Staging ステージにあるモデルバージョンを取得します。

client.get_latest_versions(model_name, stages=["Staging"])

MLflow では、複数のモデルバージョンが同時に同じステージに存在する可能性があります。前の例では、メソッドはステージのすべてのバージョンの中で最後 (最新) のバージョンを返します。

重要

MLflow SDK では、ステージ名は大文字と小文字が区別されます。

モデルバージョンを移行する

MLflow クライアントを使用して、モデルバージョンを特定のステージに移行できます。

client.transition_model_version_stage(model_name, version=3, stage="Staging")

モデルバージョンを特定のステージに移行する場合、そのステージに既に他のモデルバージョンが存在する場合、既存のバージョンは変更されません。この動作は既定で適用されます。

もう 1 つの方法は、移行中に archive_existing_versions=True パラメーターを設定することです。このアプローチでは、既存のモデルバージョンをステージ Archived に移動するように MLflow に指示します。

client.transition_model_version_stage(
    model_name, version=3, stage="Staging", archive_existing_versions=True
)

ステージからモデルを読み込む

load_model 関数と次の URI 形式を使用して、Python から特定のステージのモデルを直接読み込むことができます。このメソッドを成功させるには、すべてのライブラリと依存関係が作業環境にインストールされている必要があります。

Staging ステージからモデルを読み込みます。

model = mlflow.pyfunc.load_model(f"models:/{model_name}/Staging")

モデルを編集および削除する

登録済みモデルの編集は MLflow と Azure Machine Learning の両方でサポートされていますが、いくつか重要な違いがあります。次のセクションでは、いくつかのオプションについて説明します。

Note

モデルオブジェクトは不変であるため、Azure Machine Learning ではモデルの名前変更はサポートされていません。

モデルの説明とタグを編集する

MLflow SDK を使用してモデルの説明とタグを編集できます。

client.update_model_version(model_name, version=1, description="My classifier description")

タグを編集するには、set_model_version_tag および remove_model_version_tag メソッドを使用します。

client.set_model_version_tag(model_name, version="1", key="type", value="classification")

タグを削除するには、delete_model_version_tag メソッドを使用します。

client.delete_model_version_tag(model_name, version="1", key="type")

モデルバージョンの削除

MLflow クライアントを使用してレジストリ内の任意のモデルバージョンを削除できます。

client.delete_model_version(model_name, version="2")

Note

Machine Learning では、モデルコンテナー全体の削除はサポートされていません。このタスクを実行するには、特定のモデルのすべてのモデルバージョンを削除します。

モデル管理でサポートされている機能を確認する

MLflow クライアントでは、モデルを取得および管理するためのいくつかのメソッドが公開されています。次の表は、Azure Machine Learning に接続したときに MLflow で現在サポートされているメソッドを一覧で示しています。また、この表では MLflow を Azure Machine Learning の他のモデル管理機能と比較しています。

機能の説明	MLflow のみ	MLflow を使用した Machine Learning	Machine Learning CLI v2	Machine Learning スタジオ
MLflow 形式でモデルを登録する	✓	✓	✓	✓
MLflow 形式以外でモデルを登録する			✓	✓
実行出力/成果物からモデルを登録する	✓	✓ ¹	✓ ²	✓
実行出力/成果物からモデルを別の追跡サーバー/ワークスペースに登録する	✓		✓ ⁵	✓ ⁵
登録済みモデルの検索/一覧表示	✓	✓	✓	✓
登録済みモデルのバージョンの詳細の取得	✓	✓	✓	✓
登録済みモデルのバージョンの説明を編集する	✓	✓	✓	✓
登録済みモデルのバージョンのタグを編集する	✓	✓	✓	✓
登録済みモデルの名前を変更する	✓	³	³	³
登録済みモデル (コンテナー) を削除する	✓	³	³	³
登録済みモデルのバージョンを削除する	✓	✓	✓	✓
MLflow モデルステージの管理	✓	✓
登録済みモデルを名前で検索	✓	✓	✓	✓ ⁴
文字列比較演算子 `LIKE` および `ILIKE` を使用して登録モデルを検索する	✓			✓ ⁴
登録済みモデルをタグで検索				✓ ⁴
組織レジストリのサポート			✓	✓

表の脚注:

¹ runs:/<ruin-id>/<path> 形式の Uniform Resource Identifiers (URI) を使用します。
² azureml://jobs/<job-id>/outputs/artifacts/<path> 形式の URI を使用します。
³ 登録されたモデルは、Azure Machine Learning の不変オブジェクトです。
⁴ Azure Machine Learning スタジオの検索ボックスを使用します。部分一致がサポートされています。
⁵ レジストリを使用して、異なるワークスペース間でモデルを移動し、系統を保持します。

次の方法で共有

MLflow を使用して Azure Machine Learning でモデルレジストリを管理する

前提条件

制限事項

新しいモデルを登録する

既存の実行からモデルを作成する

資産からモデルを作成する

モデルレジストリに対してクエリを実行する

レジストリ内のすべてのモデルに対してクエリを実行する

特定のモデルバージョンを取得する

レジストリからモデルを読み込む

モデルステージを操作する

モデルステージに対してクエリを実行する

モデルバージョンを移行する

ステージからモデルを読み込む

モデルを編集および削除する

モデルの説明とタグを編集する

モデルバージョンの削除

モデル管理でサポートされている機能を確認する

フィードバック

その他のリソース

次の方法で共有

MLflow を使用して Azure Machine Learning でモデル レジストリを管理する

前提条件

制限事項

新しいモデルを登録する

既存の実行からモデルを作成する

資産からモデルを作成する

モデル レジストリに対してクエリを実行する

レジストリ内のすべてのモデルに対してクエリを実行する

特定のモデル バージョンを取得する

レジストリからモデルを読み込む

モデル ステージを操作する

モデル ステージに対してクエリを実行する

モデル バージョンを移行する

ステージからモデルを読み込む

モデルを編集および削除する

モデルの説明とタグを編集する

モデル バージョンの削除

モデル管理でサポートされている機能を確認する

関連するコンテンツ

フィードバック

その他のリソース

MLflow を使用して Azure Machine Learning でモデルレジストリを管理する

モデルレジストリに対してクエリを実行する

特定のモデルバージョンを取得する

モデルステージを操作する

モデルステージに対してクエリを実行する

モデルバージョンを移行する

モデルバージョンの削除