LearningModelSessionOptions.BatchSizeOverride Propriedade
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Um valor numérico que especifica um valor de substituição de tamanho de lote constante para o modelo de destino.
public:
property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };uint32_t BatchSizeOverride();
void BatchSizeOverride(uint32_t value);public uint BatchSizeOverride { get; set; }var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;Public Property BatchSizeOverride As UIntegerValor da propriedade
O tamanho constante do lote para entradas de modelo apresenta valores de recurso esperados por chamadas para Bind. O valor padrão para BatchSizeOverride será 1, indicando um tamanho de lote estático de 1.
Comentários
A opção BatchSizeOverride permite que o compilador de modelo use otimizações de desempenho de tamanho de lote constantes ao configurar o LearningModelSession.
Ao definir as opções BatchSizeOverride , todas as entradas da sessão terão seus tamanhos de lote restritos para corresponder ao valor de BatchSizeOverride especificado.
Um BatchSizeOverride = 0 indica que o tamanho do lote presente no modelo deve ser respeitado sem alteração.
BatchSizeOverride> 0 indica o tamanho do lote que será usado para substituir o tamanho do lote do modelo e otimizar as avaliações.
Se as avaliações de modelo sempre acontecerem usando o mesmo tamanho de lote, o desempenho poderá ser melhorado definindo BatchSizeOverride como o tamanho esperado do lote.
Definir o parâmetro BatchSizeOverride restringirá o tamanho do lote de entrada do modelo a um tamanho de lote constante e habilitará otimizações do compilador de modelo que podem melhorar o desempenho de runtime das chamadas para Avaliar.
Se o modelo de inferência for projetado para aceitar qualquer tamanho de lote, o parâmetro BatchSizeOverride poderá ser usado para restringir entradas em lote a um tamanho de lote constante.
No entanto, se o modelo de inferência for projetado com um tamanho de lote constante, o parâmetro BatchSizeOverride deverá corresponder ao tamanho de lote constante definido no modelo.
Os modelos ONNX descrevem a dimensão em lote dos recursos de tensor de entrada usando a denotação de dimensão DATA_BATCH. Isso corresponde à dimensão N na notação de formato tensor mais comumente usada NCHW.