Atualizar fluxos de trabalho de ML para modelos de destino no Catálogo do Unity

Este artigo explica como migrar e atualizar os fluxos de trabalho do Databricks para usar os modelos do Catálogo do Unity.

Requisitos

Privilégios necessários

Para executar um fluxo de trabalho de treinamento, implantação ou inferência de modelo no Catálogo do Unity, a entidade principal que executa o fluxo de trabalho deve ter os privilégios USE CATALOG e USE SCHEMA no catálogo e no esquema que contêm o modelo.

Os seguintes privilégios também são necessários:

• Para criar um modelo, a entidade de segurança deve ter o privilégio CREATE MODEL.
• Para carregar ou implantar um modelo, a entidade de segurança deve ter o privilégio EXECUTE no modelo registrado.

Somente o proprietário de um modelo registrado pode fazer o seguinte:

• Criar uma nova versão de modelo.
• Defina um alias em um modelo registrado.

Requisitos de computação

O recurso de computação especificado para o fluxo de trabalho deve ter acesso ao Catálogo do Unity. Consulte Modos de acesso.

Crie fluxos de trabalho de treinamento paralelo, implantação e inferência

Para atualizar os fluxos de trabalho de treinamento e de inferência de modelo para o Catálogo do Unity, o Databricks recomenda uma abordagem incremental na qual você cria um pipeline de treinamento, de implantação e de inferência paralelos que aproveitam modelos do Catálogo do Unity. Quando estiver familiarizado com os resultados usando o Catálogo do Unity, alterne os consumidores downstream para ler a saída de inferência em lote ou aumentar o tráfego roteado para modelos do Catálogo do Unity nos pontos de extremidade de serviço.

Fluxo de trabalho de treinamento de modelo

Clone o fluxo de trabalho de treinamento do modelo. Confirme se a entidade de segurança que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Em seguida, modifique o código de treinamento do modelo no fluxo de trabalho clonado. Talvez seja necessário clonar o notebook executado pelo fluxo de trabalho ou criar e direcionar um novo branch git no fluxo de trabalho clonado. Siga estas etapas para instalar a versão necessária do MLflow e configurar o cliente para direcionar o Catálogo do Unity em seu código de treinamento. Em seguida, atualize o código de treinamento do modelo para registrar modelos no Catálogo do Unity. Consulte Treinar e registrar modelos compatíveis com o Catálogo do Unity.

Fluxo de trabalho de implantação de modelo

Clone o fluxo de trabalho de implantação do modelo. Confirme se a entidade de segurança que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Se você tiver a lógica de validação de modelo no fluxo de trabalho de implantação, atualize-a para carregar versões de modelo do UC. Use aliases para gerenciar as distribuições de modelos de produção.

Fluxo de trabalho da inferência de modelo

Fluxo de trabalho de inferência do Lote

Clone o fluxo de trabalho de inferência em lote. Confirme se a entidade de segurança que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Fluxo de trabalho de serviço de modelo

Se você estiver usando o Mosaic AI Model Serving, não será necessário clonar o ponto de extremidade existente. Em vez disso, use o recurso divisão de tráfego para rotear uma pequena fração de tráfego para modelos no Catálogo do Unity. Ao revisar os resultados usando o Catálogo do Unity, aumente a quantidade de tráfego até que todo o tráfego seja redirecionado.

Promover um modelo entre ambientes

A promoção de um modelo entre ambientes funciona de maneira diferente com modelos no Catálogo do Unity. Para obter mais detalhes, confira Promover um modelo entre ambientes.

Usar webhooks de trabalho para aprovação manual da implantação do modelo

O Databricks recomenda que você automatize a implementação do modelo, se possível, usando verificações e testes apropriados durante o processo de implementação do modelo. No entanto, caso você precise executar aprovações manuais para implantar modelos de produção, use notificações do trabalho para chamar sistemas de CI/CD externos a fim de solicitar a aprovação manual para implantar um modelo, após a conclusão bem-sucedida do trabalho de treinamento do modelo. Depois que a aprovação manual for fornecida, o sistema de CI/CD poderá implantar a versão do modelo para atender ao tráfego, por exemplo, definindo o alias “Campeão” nela.