Compreender e criar pontos de extremidade em lote

Concluído

Para obter um modelo para gerar previsões em lote, você pode implantar o modelo em um ponto de extremidade de lote.

Você aprenderá a usar pontos de extremidade em lote para pontuação em lote assíncrona.

Predições em lote

Para obter previsões em lote, você pode implantar um modelo em um ponto de extremidade. Um ponto de extremidade é um ponto de extremidade HTTPS que você pode chamar para disparar um trabalho de pontuação em lote. A vantagem desse ponto de extremidade é que você pode acionar o trabalho de pontuação em lote de outro serviço, como o Azure Synapse Analytics ou o Azure Databricks. Um ponto de extremidade em lote permite integrar a pontuação em lote com um pipeline de ingestão e transformação de dados existente.

Sempre que o ponto de extremidade é invocado, um trabalho de pontuação em lote é enviado para o espaço de trabalho do Azure Machine Learning. O trabalho normalmente usa um cluster de computação para pontuar várias entradas. Os resultados podem ser armazenados em um armazenamento de dados, conectado ao espaço de trabalho do Azure Machine Learning.

Criar um ponto de extremidade em lote

Para implantar um modelo em um ponto de extremidade em lote, primeiro você terá que criar o ponto de extremidade em lote.

Para criar um ponto de extremidade em lote, você usará a BatchEndpoint classe. Os nomes de ponto de extremidade em lote precisam ser exclusivos dentro de uma região do Azure.

Para criar um ponto de extremidade, use o seguinte comando:

# create a batch endpoint
endpoint = BatchEndpoint(
    name="endpoint-example",
    description="A batch endpoint",
)

ml_client.batch_endpoints.begin_create_or_update(endpoint)

Gorjeta

Explore a documentação de referência para criar um ponto de extremidade em lote com o Python SDK v2.

Implantar um modelo em um ponto de extremidade em lote

Você pode implantar vários modelos em um ponto de extremidade em lote. Sempre que você chamar o ponto de extremidade em lote, que aciona um trabalho de pontuação em lote, a implantação padrão será usada, a menos que especificado de outra forma.

Usar clusters de computação para implantações em lote

A computação ideal a ser usada para implantações em lote é o cluster de computação do Azure Machine Learning. Se desejar que o trabalho de pontuação em lote processe os novos dados em lotes paralelos, será necessário provisionar um cluster de computação com mais de uma instância máxima.

Para criar um cluster de computação, você pode usar a AMLCompute classe.

from azure.ai.ml.entities import AmlCompute

cpu_cluster = AmlCompute(
    name="aml-cluster",
    type="amlcompute",
    size="STANDARD_DS11_V2",
    min_instances=0,
    max_instances=4,
    idle_time_before_scale_down=120,
    tier="Dedicated",
)

cpu_cluster = ml_client.compute.begin_create_or_update(cpu_cluster)