Visualize métricas e avalie modelos
Depois de treinar e acompanhar modelos com MLflow no Azure Machine Learning, você pode explorar as métricas e avaliar seus modelos.
- Analise as métricas no estúdio do Azure Machine Learning.
- Recupere execuções e métricas com MLflow.
Nota
O Aprendizado de Máquina do Azure usa o conceito de trabalhos quando você executa um script. Várias execuções de trabalho no Azure Machine Learning podem ser agrupadas em um experimento. MLflow usa uma sintaxe semelhante onde cada script é uma execução, que é parte de um experimento.
Exibir as métricas no estúdio do Azure Machine Learning
Quando o seu trabalho estiver concluído, pode rever os parâmetros, métricas e artefactos registados no estúdio do Azure Machine Learning.
Ao revisar execuções de trabalho no estúdio do Azure Machine Learning, você explorará as métricas de execução de um trabalho, que faz parte de um experimento.
Para visualizar as métricas por meio de uma interface de usuário intuitiva, você pode:
- Abra o Estúdio navegando até https://ml.azure.com.
- Encontre sua experiência executada e abra-a para ver seus detalhes.
- Na guia Detalhes, todos os parâmetros registrados são mostrados em Params.
- Selecione a guia Métricas e selecione a métrica que deseja explorar.
- Todos os gráficos registrados como artefatos podem ser encontrados em Imagens.
- Os ativos de modelo que podem ser usados para registrar e implantar o modelo são armazenados na pasta models em Saídas + logs.
Gorjeta
Leia a documentação para saber mais sobre como rastrear modelos com MLflow.
Recuperar métricas com MLflow em um bloco de anotações
Ao executar um script de treinamento como um trabalho no Aprendizado de Máquina do Azure e acompanhar seu modelo de treinamento com MLflow, você pode consultar as execuções em um bloco de anotações usando MLflow. Usar o MLflow em um bloco de anotações oferece mais controle sobre quais execuções você deseja recuperar para comparar.
Ao usar o MLflow para consultar suas execuções, você fará referência a experimentos e execuções.
Pesquisar todas as experiências
Você pode obter todos os experimentos ativos no espaço de trabalho usando MLFlow:
experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
print(exp.name)
Se você quiser recuperar experimentos arquivados também, inclua a opção ViewType.ALL:
from mlflow.entities import ViewType
experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
print(exp.name)
Para recuperar um experimento específico, você pode executar:
exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)
Gorjeta
Explore a documentação sobre como pesquisar experiências com o MLflow
Recuperar execuções
O MLflow permite que você pesquise execuções dentro de qualquer experimento. Você precisa do ID do experimento ou do nome do experimento.
Por exemplo, quando você deseja recuperar as métricas de uma execução específica:
mlflow.search_runs(exp.experiment_id)
Você pode pesquisar execuções em vários experimentos, se necessário. A pesquisa entre experimentos pode ser útil caso você queira comparar execuções do mesmo modelo quando ele está sendo registrado em experimentos diferentes (por pessoas diferentes ou iterações de projeto diferentes).
Você pode usar search_all_experiments=True se quiser pesquisar em todos os experimentos no espaço de trabalho.
Por padrão, os experimentos são ordenados dedescendente por start_time, que é o tempo em que o experimento foi enfileirado no Aprendizado de Máquina do Azure. No entanto, você pode alterar esse padrão usando o parâmetro order_by.
Por exemplo, se você quiser classificar por hora de início e mostrar apenas os dois últimos resultados:
mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)
Você também pode procurar uma execução com uma combinação específica nos hiperparâmetros:
mlflow.search_runs(
exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)
Gorjeta
Explore a documentação sobre como pesquisar execuções com MLflow