Atualizar fluxos de trabalho de ML para modelos de destino no Unity Catalog

Este artigo explica como migrar e atualizar fluxos de trabalho Databricks existentes para usar modelos no Unity Catalog.

Requisitos

Privilégios necessários

Para executar um fluxo de trabalho de treinamento, implantação ou inferência de modelo no Unity Catalog, a entidade que executa o fluxo de trabalho deve ter USE CATALOG privilégios no USE SCHEMA catálogo e no esquema que contêm o modelo.

Os seguintes privilégios também são necessários:

• Para criar um modelo, a entidade de segurança deve ter o CREATE MODEL privilégio.
• Para carregar ou implantar um modelo, a entidade de segurança deve ter o EXECUTE privilégio no modelo registrado.

Apenas o proprietário de um modelo registado pode fazer o seguinte:

• Crie uma nova versão do modelo.
• Defina um alias em um modelo registrado.

Requisitos de computação

O recurso de computação especificado para o fluxo de trabalho deve ter acesso ao Catálogo Unity. Consulte Modos de acesso.

Crie fluxos de trabalho paralelos de treinamento, implantação e inferência

Para atualizar o treinamento de modelos e fluxos de trabalho de inferência para o Unity Catalog, o Databricks recomenda uma abordagem incremental na qual você cria um pipeline paralelo de treinamento, implantação e inferência que aproveita os modelos no Unity Catalog. Quando estiver confortável com os resultados usando o Unity Catalog, você poderá alternar os consumidores downstream para ler a saída de inferência em lote ou aumentar o tráfego roteado para modelos no Unity Catalog no serviço de endpoints.

Modelo de fluxo de trabalho de treinamento

Clone seu fluxo de trabalho de treinamento de modelo. Confirme se a entidade que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Em seguida, modifique o código de treinamento do modelo no fluxo de trabalho clonado. Talvez seja necessário clonar o bloco de anotações executado pelo fluxo de trabalho ou criar e direcionar uma nova ramificação do git no fluxo de trabalho clonado. Siga estas etapas para instalar a versão necessária do MLflow e configurar o cliente para direcionar o Unity Catalog em seu código de treinamento. Em seguida, atualize o código de treinamento do modelo para registrar modelos no Unity Catalog. Consulte Treinar e registrar modelos compatíveis com o Unity Catalog.

Fluxo de trabalho de implantação do modelo

Clone seu fluxo de trabalho de implantação de modelo. Confirme se a entidade que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Se você tiver lógica de validação de modelo em seu fluxo de trabalho de implantação, atualize-a para carregar versões de modelo da UC. Use aliases para gerenciar distribuições de modelos de produção.

Fluxo de trabalho de inferência de modelo

Fluxo de trabalho de inferência em lote

Clone o fluxo de trabalho de inferência em lote. Confirme se a entidade que executa o fluxo de trabalho e a computação especificada para o fluxo de trabalho atendem aos Requisitos.

Modelo de fluxo de trabalho de serviço

Se você estiver usando o Mosaic AI Model Serving, não precisará clonar seu endpoint existente. Em vez disso, use o recurso de divisão de tráfego para começar a rotear uma pequena fração do tráfego para modelos no Unity Catalog. À medida que você revisa os resultados usando o Unity Catalog, aumente a quantidade de tráfego até que todo o tráfego seja redirecionado.

Promova um modelo em todos os ambientes

A promoção de um modelo entre ambientes funciona de forma diferente com os modelos no Unity Catalog. Para obter detalhes, consulte Promover um modelo entre ambientes.

Usar webhooks de trabalho para aprovação manual para implantação de modelo

A Databricks recomenda que você automatize a implantação do modelo, se possível, usando verificações e testes apropriados durante o processo de implantação do modelo. No entanto, se você precisar executar aprovações manuais para implantar modelos de produção, poderá usar notificações de trabalho para chamar sistemas de CI/CD externos para solicitar aprovação manual para implantar um modelo, depois que o trabalho de treinamento do modelo for concluído com êxito. Depois que a aprovação manual é fornecida, seu sistema de CI/CD pode implantar a versão do modelo para atender ao tráfego, por exemplo, definindo o alias "Campeão" nele.