LearningModelSessionOptions.BatchSizeOverride 속성

정의

네임스페이스:

Windows.AI.MachineLearning

대상 모델의 상수 일괄 처리 크기 재정의 값을 지정하는 숫자 값입니다.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

속성 값

UInt32

unsigned int

uint32_t

모델 입력에 대한 상수 일괄 처리 크기는 Bind 호출에 필요한 기능 값 입니다. BatchSizeOverride의 기본값은 정적 일괄 처리 크기를 1로 나타내는 1입니다.

설명

BatchSizeOverride 옵션을 사용하면 모델 컴파일러가 LearningModelSession을 설정할 때 일정한 일괄 처리 크기 성능 최적화를 사용할 수 있습니다.

BatchSizeOverride 옵션을 설정하면 세션의 모든 입력에 지정된 BatchSizeOverride 값과 일치하도록 일괄 처리 크기가 제한됩니다.

BatchSizeOverride = 0은 모델에 있는 일괄 처리 크기를 변경하지 않고 적용해야 했음을 나타냅니다.

BatchSizeOverride> 0은 모델 일괄 처리 크기를 재정의하고 평가를 최적화하는 데 사용할 일괄 처리 크기를 나타냅니다.

모델 평가가 항상 동일한 일괄 처리 크기를 사용하여 발생하는 경우 BatchSizeOverride 를 예상 일괄 처리 크기로 설정하여 성능을 향상시킬 수 있습니다.

BatchSizeOverride 매개 변수를 설정하면 모델의 입력 일괄 처리 크기가 일정한 일괄 처리 크기로 제한되고 Evaluate에 대한 호출의 런타임 성능을 향상시킬 수 있는 모델 컴파일러 최적화가 활성화됩니다.

유추 모델이 일괄 처리 크기를 허용하도록 설계된 경우 BatchSizeOverride 매개 변수를 사용하여 일괄 처리된 입력을 일정한 일괄 처리 크기로 제한할 수 있습니다.

그러나 유추 모델이 상수 일괄 처리 크기로 설계된 경우 BatchSizeOverride 매개 변수는 모델에 정의된 상수 일괄 처리 크기와 일치해야 합니다.

ONNX 모델은 DATA_BATCH 차원 주석을 사용하여 입력 텐서 기능의 일괄 처리 차원을 설명합니다. 이는 보다 일반적으로 사용되는 텐서 형식 표기법 NCHW의 N 차원에 해당합니다.