Época de BrainScriptSize en CNTK

Para los usuarios de Python, consulte aquí.

Número de muestras de etiqueta (tensores a lo largo de un eje dinámico) en cada época. en epochSize CNTK es el número de muestras de etiqueta después de las cuales se realizan acciones adicionales específicas, incluidas las

• guardar un modelo de punto de control (el entrenamiento se puede reiniciar desde aquí)
• validación cruzada
• control de velocidad de aprendizaje
• minibatch-scaling

Tenga en cuenta que la definición del número de muestras de etiqueta es similar al número de muestras usadas para minibatchSize (minibatch_size_in_samples). La definición de difiere de epochSize la definición de en el sentido de que epochSize es ejemplos de minitbatchSizeetiquetas, no muestras de entrada.

Por lo tanto, lo que es importante para los datos secuenciales, un ejemplo es un elemento individual de una secuencia. Por lo tanto, CNTK epochSizeno hace referencia a una serie de secuencias, sino a los elementos de secuencia en las etiquetas de secuencia que constituyen el minibatch.

Igualmente importante, se trata de ejemplos de etiquetas , no de entrada y el número de etiquetas por secuencia no es necesariamente el número de muestras de entrada. Por ejemplo, es posible tener una etiqueta por secuencia y para cada secuencia tener muchas muestras (en cuyo caso epochSize actúa como el número de secuencias) y es posible tener una etiqueta por muestra en una secuencia, en cuyo caso epochSize actúa exactamente igual minibatchSize que en que cada muestra (no secuencia) se cuenta.

Para tamaños de conjunto de datos más pequeños, epochSize a menudo se establece igual al tamaño del conjunto de datos. En BrainScript puede especificar 0 para indicarlo. En Python, puede especificar cntk.io.INFINITELY_REPEAT para eso. Solo en Python, también puede establecerlo cntk.io.FULL_DATA_SWEEP en donde el procesamiento se detendrá después de un paso del tamaño de datos completo.

En el caso de los conjuntos de datos de gran tamaño, puede que desee guiar su elección para epochSize mediante la creación de puntos de control. Por ejemplo, si desea perder como máximo 30 minutos de cálculo en caso de una interrupción del suministro eléctrico o un problema de red, querrá que se cree un punto de control cada 30 minutos (a partir del cual se puede reanudar el entrenamiento). Elija epochSize ser el número de muestras que tardan unos 30 minutos en calcularse.