Gerenciar modelos no Microsoft Fabric

Concluído

A integração do MLflow no Microsoft Fabric facilita o acompanhamento e o gerenciamento de seus modelos de aprendizado de máquina.

Rastreie artefatos de modelo com MLflow

Depois de treinar um modelo, você deseja usá-lo para pontuar e gerar novas previsões. Para integrar facilmente seu modelo, você precisa armazenar seu modelo para que você possa carregá-lo em um ambiente diferente. Uma abordagem comum é armazenar um modelo como um arquivo pickle, um objeto serializado.

Nota

O formato do seu modelo armazenado depende da estrutura de aprendizado de máquina que você está usando. Por exemplo, ao treinar um modelo de aprendizagem profunda, você pode optar por armazenar seu modelo usando o formato Open Neural Network Exchange (ONNX).

MLflow adiciona outra camada à saída do seu modelo adicionando o arquivo MLmodel . O arquivo MLmodel especifica os metadados do modelo, como como e quando o modelo foi treinado, bem como a entrada e saída esperada do modelo.

Compreender o arquivo MLmodel

Quando você registra um modelo com MLflow, todos os ativos de modelo relevantes são armazenados na pasta com o experimento model executado.

A model pasta inclui o arquivo MLmodel, uma única fonte de verdade sobre como o modelo deve ser carregado e consumido.

O arquivo MLmodel pode incluir:

• artifact_path: Durante o treinamento, o modelo é registrado nesse caminho.
• flavor: A biblioteca de aprendizado de máquina com a qual o modelo foi criado.
• model_uuid: O identificador único do modelo registado.
• run_id: O identificador exclusivo da execução do trabalho durante o qual o modelo foi criado.
• signature: Especifica o esquema das entradas e saídas do modelo:
  • inputs: Entrada válida para o modelo. Por exemplo, um subconjunto do conjunto de dados de treinamento.
  • outputs: Saída de modelo válida. Por exemplo, previsões de modelo para o conjunto de dados de entrada.

Imagine que você treinou um modelo de regressão para prever diabetes em pacientes, o arquivo MLmodel registrado pode se parecer com:

artifact_path: model
flavors:
  python_function:
    env:
      conda: conda.yaml
      virtualenv: python_env.yaml
    loader_module: mlflow.sklearn
    model_path: model.pkl
    predict_fn: predict
    python_version: 3.10.10
  sklearn:
    code: null
    pickled_model: model.pkl
    serialization_format: cloudpickle
    sklearn_version: 1.2.0
mlflow_version: 2.1.1
model_uuid: 8370150f4e07495794c3b80bcaf07e52
run_id: 14cdf02f-119b-4b8d-90f3-044987c29bce
signature:
  inputs: '[{"type": "tensor", "tensor-spec": {"dtype": "float64", "shape": [-1, 10]}}]'
  outputs: '[{"type": "tensor", "tensor-spec": {"dtype": "float64", "shape": [-1]}}]'

Quando você opta por usar a função de registro automático do MLflow no Microsoft Fabric, o arquivo MLmodel é criado automaticamente para você. Se desejar alterar o arquivo para alterar o comportamento do modelo durante a pontuação, você poderá alterar como o arquivo MLmodel é registrado.

Gorjeta

Saiba mais sobre arquivos de modelo MLflow e como personalizar os campos.

Gerenciar modelos no Microsoft Fabric

Quando você acompanha um modelo com MLflow durante o treinamento no Microsoft Fabric, todos os artefatos de model modelo são armazenados na pasta. Você pode encontrar a model pasta na execução do experimento:

A pasta modelo contém:

• MLmodel: Contém os metadados do modelo.
• conda.yaml: Contém o ambiente Anaconda necessário para executar o modelo.
• model.pkl: Contém o modelo treinado
• python_env.yaml: Descreve o ambiente Python necessário para executar o modelo. Faz referência ao requirements.txt arquivo.
• requirements.txt: Lista os pacotes Python necessários para executar o modelo.

Todos esses artefatos de modelo são necessários quando você deseja usar seu modelo para gerar previsões sobre novos dados.

Salvar um modelo do seu espaço de trabalho

Ao escolher o modelo que deseja usar, você pode salvá-lo no espaço de trabalho a partir da execução do experimento. Ao salvar um modelo, você cria um novo modelo versionado no espaço de trabalho que contém todos os artefatos e metadados do modelo.

Selecione a execução do experimento que representa o modelo que você treinou e selecione a opção Salvar para salvar a execução como um modelo.

Ao selecionar um modelo existente, você cria uma nova versão de um modelo com o mesmo nome. O controle de versão de modelos permite comparar modelos que servem a um propósito semelhante, após o qual você pode escolher o modelo com melhor desempenho para gerar previsões.