LearningModelSessionOptions.BatchSizeOverride Propriété
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Valeur numérique qui spécifie une valeur de remplacement de taille de lot constante pour le modèle cible.
public:
property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };uint32_t BatchSizeOverride();
void BatchSizeOverride(uint32_t value);public uint BatchSizeOverride { get; set; }var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;Public Property BatchSizeOverride As UIntegerValeur de propriété
Taille constante du lot pour les entrées de modèle valeurs de fonctionnalité attendues par les appels à Bind. La valeur par défaut de BatchSizeOverride est 1, ce qui indique une taille de lot statique de 1.
Remarques
L’option BatchSizeOverride permet au compilateur de modèle d’utiliser des optimisations des performances de taille de lot constantes lors de la configuration de LearningModelSession.
En définissant les options BatchSizeOverride , les tailles de lot de toutes les entrées de la session seront limitées pour correspondre à la valeur BatchSizeOverride spécifiée.
BatchSizeOverride = 0 indique que la taille de lot présente dans le modèle doit être respectée sans modification.
BatchSizeOverride> 0 indique la taille de lot qui sera utilisée pour remplacer la taille du lot de modèles et optimiser les évaluations.
Si les évaluations de modèles utilisent toujours la même taille de lot, vous pouvez améliorer les performances en définissant BatchSizeOverride sur la taille de lot attendue.
La définition du paramètre BatchSizeOverride limite la taille du lot d’entrée du modèle à une taille de lot constante et permet d’optimiser le compilateur de modèles qui peuvent améliorer les performances d’exécution des appels à Évaluer.
Si le modèle d’inférence est conçu pour accepter n’importe quelle taille de lot, le paramètre BatchSizeOverride peut être utilisé pour limiter les entrées par lot à une taille de lot constante.
Toutefois, si le modèle d’inférence est conçu avec une taille de lot constante, le paramètre BatchSizeOverride doit correspondre à la taille de lot constante définie dans le modèle.
Les modèles ONNX décrivent la dimension par lot des fonctionnalités de tenseur d’entrée à l’aide de la dénotation de dimension DATA_BATCH. Cela correspond à la dimension N dans la notation de format tensoriel NCHW plus couramment utilisée.