Exibir métricas e avaliar modelos
Depois de treinar e acompanhar modelos com o MLflow no Azure Machine Learning, você poderá explorar as métricas e avaliar seus modelos.
- Revise as métricas no Estúdio do Azure Machine Learning.
- Recupere execuções e métricas com o MLflow.
Observação
O Azure Machine Learning usa o conceito de trabalhos quando você executa um script. Várias execuções de trabalho no Azure Machine Learning podem ser agrupadas em um experimento. O MLflow usa uma sintaxe semelhante em que cada script é uma execução, que faz parte de um experimento.
Exibir as métricas no Estúdio do Azure Machine Learning
Quando o trabalho for concluído, você poderá examinar os parâmetros, as métricas e os artefatos registrados no Estúdio do Azure Machine Learning.
Ao examinar as execuções de trabalho no Estúdio do Azure Machine Learning, você explorará as métricas de uma execução de trabalho, que faz parte de um experimento.
Para exibir as métricas por meio de uma interface do usuário intuitiva, você pode:
- Abra o Estúdio navegando até https://ml.azure.com.
- Localize a execução de experimento e abra-a para exibir os detalhes dela.
- Na guia Detalhes, todos os parâmetros registrados são exibidos em Parâmetros.
- Selecione a guia Métricas e selecione a métrica que você deseja explorar.
- Os gráficos registrados como artefatos podem ser encontrados em Imagens.
- Os ativos de modelo que podem ser usados para registrar e implantar o modelo são armazenados na pasta modelos em Saídas + logs.
Dica
Leia a documentação para saber mais sobre como controlar modelos com o MLflow.
Recuperar métricas com o MLflow em um notebook
Ao executar um script de treinamento como um trabalho no Azure Machine Learning e acompanhar o treinamento do modelo com o MLflow, é possível consultar as execuções em um notebook usando o MLflow. O uso do MLflow em um notebook oferece mais controle sobre quais execuções você deseja recuperar para comparar.
Ao usar o MLflow para consultar suas execuções, você se referirá a experimentos e execuções.
Pesquisar todos os experimentos
Você pode obter todos os experimentos ativos no espaço de trabalho usando o MLFlow:
experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
print(exp.name)
Se você quiser recuperar experimentos arquivados também, inclua a opção ViewType.ALL:
from mlflow.entities import ViewType
experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
print(exp.name)
Para recuperar um experimento específico, você pode executar:
exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)
Dica
Explorar a documentação sobre como pesquisar experimentos com o MLflow
Recuperar execuções
O MLflow permite pesquisar execuções em qualquer experimento. Você precisa da ID do experimento ou do nome do experimento.
Por exemplo, quando você deseja recuperar as métricas de uma execução específica:
mlflow.search_runs(exp.experiment_id)
Você pode pesquisar execuções em vários experimentos se necessário. A pesquisa entre diferentes experimentos pode ser útil caso você queira comparar execuções do mesmo modelo quando ele estiver sendo registrado em experimentos diferentes (por pessoas diferentes ou iterações de projeto diferentes).
Você pode usar search_all_experiments=True se quiser pesquisar em todos os experimentos no espaço de trabalho.
Por padrão, os experimentos são ordenados de forma decrescente por start_time, que é a hora em que o experimento foi enfileirado no Azure Machine Learning. No entanto, você pode alterar esse padrão usando o parâmetro order_by.
Por exemplo, se você quiser classificar por hora de início e mostrar apenas os dois últimos resultados:
mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)
Você também pode procurar uma execução com uma combinação específica nos hiperparâmetros:
mlflow.search_runs(
exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)
Dica
Explorar a documentação sobre como pesquisar execuções com o MLflow