Microsoft Fabric での自動ログ記録
Microsoft Fabric の Synapse Data Science には自動ログ記録が含まれています。これにより、トレーニング中に機械学習モデルのパラメーター、メトリック、項目を自動的にログに記録するために必要なコードの量が大幅に削減されます。 この記事では、Microsoft Fabric での Synapse Data Science の自動ログ記録について説明します。
自動ログ記録 MLflow Tracking 機能が拡張され、Microsoft Fabric の Synapse Data Science エクスペリエンスに深く統合されています。 自動ログでは、精度、損失、F1 スコア、定義したカスタム メトリックなど、さまざまなメトリックをキャプチャできます。 開発者とデータ サイエンティストは、自動ログを使用することで、手動で追跡することなく、さまざまなモデルや実験のパフォーマンスを簡単に追跡および比較できます。
サポートされているフレームワーク
自動ログでは、TensorFlow、PyTorch、Scikit-learn、XGBoost など、さまざまな機械学習フレームワークがサポートされています。 自動ログ記録によってキャプチャされるフレームワーク固有のプロパティの詳細については、MLflow のドキュメントを参照してください。
構成
自動ログ記録は、トレーニング中の機械学習モデルの入力パラメーター、出力メトリック、出力項目の値を自動的にキャプチャすることによって機能します。 この情報は Microsoft Fabric ワークスペースに記録されます。このワークスペースには、MLflow API または Microsoft Fabric ワークスペース内の対応する実験項目とモデル項目を使用してアクセスして視覚化できます。
Synapse Data Science Notebook を起動すると、Microsoft Fabric は mlflow.autolog()
構成は、import mlflowを実行するとバックグラウンドで自動的に行われます。 ノートブック の既定の構成である mlflow.autolog() フックは次のとおりです。
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
カスタマイズ
ログの動作をカスタマイズするには、mlflow.autolog() 構成を使用します。 この構成では、モデル ログの有効化、入力サンプルの収集、警告の構成、または指定した追加コンテンツのログ記録を有効にするパラメーターが提供されます。
その他のメトリック、パラメーター、およびプロパティを追跡する
MLflow を使用して作成された実行の場合は、MLflow 自動ログ構成を更新して、追加のメトリック、パラメーター、ファイル、およびメタデータを次のように追跡します。
mlflow.autolog() 呼び出しを更新して、
exclusive=Falseを設定します。mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )MLflow 追跡 API を使用して、追加のパラメーターとメトリックをログします。 次のコード例では、カスタム メトリックとパラメーターを追加のプロパティと共にログに記録できます。
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Microsoft Fabric の自動ログ記録を無効にする
特定のノートブック セッションに対して Microsoft Fabric の自動ログ記録を無効にすることができます。 ワークスペース設定を使用して、すべてのノートブックの自動ログ記録を無効にすることもできます。
手記
自動ログ記録が無効になっている場合は、MLflow API を使用して、
ノートブック セッションの自動ログ記録を無効にする
特定のノートブック セッションに対して Microsoft Fabric の自動ログ記録を無効にするには、mlflow.autolog()
import mlflow
mlflow.autolog(disable=True)
すべてのノートブックとセッションの自動ログ記録を無効にする
ワークスペース管理者は、ワークスペース設定を使用して、ワークスペース内のすべてのノートブックとセッションに対して Microsoft Fabric の自動ログ記録を有効または無効にすることができます。 Synapse Data Science の自動ログ記録を有効または無効にするには:
ワークスペースで、[ワークスペースの設定] を選択します。
ワークスペースの設定 で、左側のナビゲーション バー[データ エンジニアリング/サイエンス ] を展開し、[Spark 設定]選択します。 Spark 設定で、自動ログ タブを選択します。
機械学習の実験とモデルを自動的に追跡する設定を、[ オン] または [オフ] として に変更します。 [保存] を選択します。
関連コンテンツ
- Apache Spark MLlib を使用して機械学習モデルを構築する
- Microsoft Fabric での機械学習実験