Zobrazení metrik a vyhodnocení modelů

  • 8 min

Po natrénování a sledování modelů pomocí MLflow ve službě Azure Machine Učení můžete prozkoumat metriky a vyhodnotit modely.

  • Zkontrolujte metriky v studio Azure Machine Learning.
  • Načtení spuštění a metrik pomocí MLflow

Poznámka:

Azure Machine Učení používá koncept úloh při spuštění skriptu. V azure Machine Učení je možné seskupit více úloh v rámci jednoho experimentu. MLflow používá podobnou syntaxi, kde každý skript je spuštění, což je součást experimentu.

Zobrazení metrik v studio Azure Machine Learning

Po dokončení úlohy můžete v studio Azure Machine Learning zkontrolovat protokolované parametry, metriky a artefakty.

Při kontrole spuštění úlohy v studio Azure Machine Learning prozkoumáte metriky spuštění úlohy, která je součástí experimentu.

Pokud chcete zobrazit metriky prostřednictvím intuitivního uživatelského rozhraní, můžete:

  1. Otevřete Studio tak, že přejdete na https://ml.azure.com.
  2. Vyhledejte spuštění experimentu a otevřete ho, abyste zobrazili jeho podrobnosti.
  3. Na kartě Podrobnosti se všechny protokolované parametry zobrazí v části Parametry.
  4. Vyberte kartu Metriky a vyberte metriku, kterou chcete prozkoumat.
  5. Všechny grafy, které jsou protokolovány jako artefakty, najdete v části Obrázky.
  6. Prostředky modelu, které lze použít k registraci a nasazení modelu, jsou uloženy ve složce modely v části Výstupy + protokoly.

Tip

Další informace o sledování modelů pomocí MLflow najdete v dokumentaci.

Načtení metrik pomocí MLflow v poznámkovém bloku

Když v Azure Machine Učení spustíte trénovací skript jako úlohu a budete sledovat trénování modelu pomocí MLflow, můžete dotazovat spuštění v poznámkovém bloku pomocí MLflow. Použití MLflow v poznámkovém bloku vám dává větší kontrolu nad tím, která spuštění chcete načíst, abyste je mohli porovnat.

Při dotazování spuštění pomocí MLflow se seznámíte s experimenty a spuštěními.

Prohledat všechny experimenty

Všechny aktivní experimenty v pracovním prostoru můžete získat pomocí MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Pokud chcete také načíst archivované experimenty, uveďte možnost ViewType.ALL:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Pokud chcete načíst konkrétní experiment, můžete spustit:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Tip

Projděte si dokumentaci k hledání experimentů pomocí MLflow.

Načtení spuštění

MLflow umožňuje hledat spuštění uvnitř jakéhokoli experimentu. Potřebujete BUĎ ID experimentu, nebo název experimentu.

Pokud například chcete načíst metriky konkrétního spuštění:

mlflow.search_runs(exp.experiment_id)

V případě potřeby můžete prohledávat několik experimentů. Vyhledávání napříč experimenty může být užitečné v případě, že chcete porovnat spuštění stejného modelu, když se protokolují v různých experimentech (různými lidmi nebo různými iteracemi projektů).

Můžete použít search_all_experiments=True , pokud chcete prohledávat všechny experimenty v pracovním prostoru.

Ve výchozím nastavení jsou experimenty seřazené sestupně podle start_time, což je čas, kdy byl experiment zařazen do fronty ve službě Azure Machine Učení. Toto výchozí nastavení však můžete změnit pomocí parametru order_by.

Pokud například chcete řadit podle času zahájení a zobrazit pouze poslední dva výsledky:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

Můžete také vyhledat spuštění s konkrétní kombinací v hyperparametrech:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)

Tip

Projděte si dokumentaci o tom, jak hledat spuštění pomocí MLflow.