Compartir a través de

ModelBatchDeploymentSettings Clase

  • Referencia

Nota

Se trata de una clase experimental y puede cambiar en cualquier momento. Consulte https://aka.ms/azuremlexperimental para más información.

Entidad Configuración de implementación de Batch del modelo.

Herencia
builtins.object
ModelBatchDeploymentSettings

Constructor

ModelBatchDeploymentSettings(*, mini_batch_size: int | None, instance_count: int | None = None, max_concurrency_per_instance: int | None = None, output_action: BatchDeploymentOutputAction | None = None, output_file_name: str | None = None, retry_settings: BatchRetrySettings | None = None, environment_variables: Dict[str, str] | None = None, error_threshold: int | None = None, logging_level: str | None = None, **kwargs: Any)

Parámetros

Nombre Description
mini_batch_size
Requerido
int

Tamaño del minilote pasado a cada invocación de lote, el valor predeterminado es 10.
instance_count
Requerido
int

Número de instancias en las que se ejecutará la interferencia. Equivalente a resources.instance_count.
output_action
Requerido
str o BatchDeploymentOutputAction

Indica cómo se organizará la salida. Entre los valores posibles se incluyen: "summary_only", "append_row". El valor predeterminado es "append_row"
output_file_name
Requerido
str

Nombre de archivo de salida personalizado para append_row acción de salida, el valor predeterminado es "predictions.csv"
max_concurrency_per_instance
Requerido
int

Indica el número máximo de paralelismo por instancia, el valor predeterminado es 1.
retry_settings
Requerido
BatchRetrySettings

Configuración de reintento para una operación de inferencia por lotes, el valor predeterminado es Ninguno.
environment_variables
Requerido
dict

Variables de entorno que se establecerán en la implementación.
error_threshold
Requerido
int

Umbral de error, si el recuento de errores de toda la entrada supera este valor, se anulará la inferencia por lotes. El intervalo es [-1, int. MaxValue] -1 valor indica que omite todos los errores durante la inferencia por lotes Para el recuento de errores de archivo de FileDataset para TabularDataset, este es el recuento de errores de registro, el valor predeterminado es -1.
logging_level
Requerido
str

Nivel de registro para la operación de inferencia por lotes, el valor predeterminado es "info"

Ejemplos

Crear un objeto Model Batch Deployment Settings.


   from azure.ai.ml.entities._deployment.model_batch_deployment_settings import ModelBatchDeploymentSettings

   modelBatchDeploymentSetting = ModelBatchDeploymentSettings(
       mini_batch_size=256,
       instance_count=5,
       max_concurrency_per_instance=2,
       output_file_name="output-file-name",
       environment_variables={"env1": "value1", "env2": "value2"},
       error_threshold=2,
       logging_level=1,
   )