Partilhar via

Época BrainScriptSize em CNTK

  • Artigo

Para Python utilizadores, consulte aqui.

O número de amostras de etiqueta (tensores ao longo de um eixo dinâmico) em cada época. Em epochSize CNTK é o número de amostras de rótulo após a qual são tomadas ações adicionais específicas, incluindo

  • salvar um modelo de ponto de verificação (a formação pode ser reiniciada a partir daqui)
  • validação cruzada
  • controlo das taxas de aprendizagem
  • minibatch-escala

Note-se que a definição do número de amostras de etiquetas é semelhante ao número de amostras utilizadas para minibatchSize (minibatch_size_in_samples). A definição difere epochSize da definição de, no sentido em que epochSize se trata, são amostras de minitbatchSizeetiquetas e não de amostras de entrada.

Então, o mais importante, para os dados sequenciais, uma amostra é um item individual de uma sequência. Portanto, CNTK nãoepochSize se refere a uma série de sequências, mas sim a itens de sequência através das etiquetas de sequência que constituem a minibatch.

Igualmente importante, são amostras de etiquetas , não amostras de entrada, e o número de rótulos por sequência não é necessariamente o número de amostras de entrada. É possível, por exemplo, ter uma etiqueta por sequência e cada sequência ter muitas amostras (nesse caso epochSize age como número de sequências), e é possível ter uma etiqueta por amostra numa sequência, caso em que epochSize age exatamente como minibatchSize em que cada amostra (não sequência) é contada.

Para tamanhos de conjunto de dados mais pequenos, epochSize é frequentemente definido igual ao tamanho do conjunto de dados. No BrainScript pode especificar 0 para denotar isso. Em Python pode especificar cntk.io.INFINITELY_REPEAT para isso. Apenas Python, pode defini-lo para onde o cntk.io.FULL_DATA_SWEEP processamento irá parar após uma passagem de todo o tamanho dos dados.

Para conjuntos de dados grandes, pode querer orientar a sua escolha para a épocaSize por verificação. Por exemplo, se quiser perder no máximo 30 minutos de cálculo em caso de falha de energia ou falha de rede, pretende que seja criado um ponto de verificação a cada 30 minutos (a partir do qual o treino pode ser retomado). Opte por epochSize ser o número de amostras que demora cerca de 30 minutos a calcular.