Implante código Python com o Model Serving

Artigo
01/02/2025

Este artigo descreve como implantar seu código Python personalizado com Mosaic AI Model Serving. O exemplo neste artigo se concentra em fornecer orientação para adicionar lógica de pré-processamento e pós-processamento ao seu modelo e implantá-lo.

A função Python do MLflow, pyfunc, fornece flexibilidade para implantar qualquer parte do código Python ou qualquer modelo Python. A seguir estão exemplos de cenários where nos quais pode querer utilizar o guia.

Seu modelo requer pré-processamento antes que as entradas possam ser passadas para a função de previsão do modelo.
Sua estrutura de modelo não é suportada nativamente pelo MLflow.
Seu aplicativo requer que as saídas brutas do modelo sejam pós-processadas para consumo.
O modelo em si tem lógica de ramificação por solicitação.
Você está procurando implantar código totalmente personalizado para servir como um modelo.

Construir um modelo de função Python MLflow personalizado

MLflow oferece a capacidade de registar código Python com o formato de modelos Python personalizados .

Há duas funções necessárias ao empacotar código python arbitrário com MLflow:

load_context - qualquer coisa que precise ser carregada apenas uma vez para o modelo operar deve ser definida nesta função. Isso é fundamental para que o sistema minimize o número de artefatos carregados durante a função predict, o que acelera a inferência.
predict - esta função abriga toda a lógica que é executada toda vez que uma solicitação de entrada é feita.

Registre seu modelo de função Python

Mesmo que você esteja escrevendo seu modelo com código personalizado, é possível usar módulos compartilhados de código da sua organização. Com o parâmetro code_path, os autores de modelos podem registrar referências de código completas que são carregadas no caminho e podem ser usadas a partir de outros modelos de pyfunc personalizados.

Por exemplo, se um modelo for registrado com:

mlflow.pyfunc.log_model(CustomModel(), "model", code_path = ["preprocessing_utils/"])

O código do preprocessing_utils está disponível no contexto carregado do modelo. A seguir está um modelo de exemplo que usa esse código.

class CustomModel(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        self.model = torch.load(context.artifacts["model-weights"])
        from preprocessing_utils.my_custom_tokenizer import CustomTokenizer
        self.tokenizer = CustomTokenizer(context.artifacts["tokenizer_cache"])

    def format_inputs(self, model_input):
        # insert some code that formats your inputs
        pass

    def format_outputs(self, outputs):
        predictions = (torch.sigmoid(outputs)).data.numpy()
        return predictions

    def predict(self, context, model_input):
        model_input = self.format_inputs(model_input)
        outputs = self.model.predict(model_input)
        return self.format_outputs(outputs)

Sirva o seu modelo

Depois de registar o teu modelo de pyfunc personalizado, podes registá-lo no Unity Catalog ou no Registo da Área de Trabalho e publicar o teu modelo num ponto de serviço do Model Serving.

Exemplo de caderno

O exemplo de bloco de anotações a seguir demonstra como personalizar a saída do modelo quando a saída bruta do modelo consultado precisa ser pós-processada para consumo.

Personalize a saída de serviço do modelo com o notebook MLflow PyFunc

Get caderno

Partilhar via