LearningModelSessionOptions.BatchSizeOverride Proprietà

Definizione

Spazio dei nomi:

Windows.AI.MachineLearning

Valore numerico che specifica un valore di override delle dimensioni del batch costante per il modello di destinazione.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

Valore della proprietà

UInt32

unsigned int

uint32_t

Dimensioni batch costanti per gli input del modello valori di funzionalità previsti dalle chiamate a Bind. Il valore predefinito per BatchSizeOverride sarà 1 che indica una dimensione del batch statica pari a 1.

Commenti

L'opzione BatchSizeOverride consente al compilatore di modelli di usare ottimizzazioni delle prestazioni delle dimensioni batch costanti durante la configurazione di LearningModelSession.

Impostando le opzioni BatchSizeOverride , tutti gli input per la sessione avranno dimensioni batch limitate in modo che corrispondano al valore BatchSizeOverride specificato.

BatchSizeOverride = 0 indica che le dimensioni del batch presenti nel modello devono essere rispettate senza modifiche.

BatchSizeOverride> 0 indica le dimensioni del batch che verranno usate per eseguire l'override delle dimensioni del batch del modello e ottimizzare le valutazioni.

Se le valutazioni del modello vengono sempre eseguite usando le stesse dimensioni del batch, è possibile migliorare le prestazioni impostando BatchSizeOverride sulle dimensioni del batch previste.

L'impostazione del parametro BatchSizeOverride limiterà le dimensioni del batch di input del modello a una dimensione batch costante e abiliterà le ottimizzazioni del compilatore del modello in grado di migliorare le prestazioni di runtime delle chiamate a Evaluate.

Se il modello di inferenza è progettato per accettare qualsiasi dimensione del batch, il parametro BatchSizeOverride può essere usato per limitare gli input in batch a dimensioni batch costanti.

Tuttavia, se il modello di inferenza è progettato con dimensioni batch costanti, il parametro BatchSizeOverride deve corrispondere alla dimensione del batch costante definita nel modello.

I modelli ONNX descrivono la dimensione batch delle funzionalità del tensore di input usando la denotazione della dimensione DATA_BATCH. Corrisponde alla dimensione N nella notazione del tensore più comunemente NCHW.