Partilhar via

Leitor de sequência de LM BrainScript

  • Artigo

Nota: se for um recém-chegado, considere utilizar CNTK Leitor de Formato de Texto. No futuro, o LMSequenceReader será depreciado e eventualmente não suportado.

LMSequenceReader é um leitor que lê a cadeia de texto. É usado principalmente para tarefas de modelação de linguagem. Um exemplo da sua configuração é o seguinte

reader = [
    readerType = "LMSequenceReader"
    randomize = false
    nbruttineachrecurrentiter = 10
    unk = "<unk>"
    wordclass = "$DataDir$\wordclass.txt"
    file = "$DataDir$\penntreebank.train.txt"
    labelIn = [
        labelDim = 10000
        beginSequence = "</s>"
        endSequence = "</s>"
    ]
]

O LMSequenceReader tem os seguintes parâmetros:

  • randomize: é ou NoneAuto. Isto especifica o modo de fazer a aleatoriedade da frase de todo o corpus.

  • nbruttsineachrecurrentiter: isto especifica o limite do número de frases numa minibatch. O leitor organiza frases de entrada de mesmo comprimento, até ao limite especificado, em cada minibatch. Para redes recorrentes, o treinador repõe as atividades de camadas ocultas apenas no início das frases. As atividades das camadas escondidas são levadas para a próxima minibatch se não for atingido um fim de frase. Usar várias frases numa minibatch pode acelerar os processos de treino.

  • unk: isto especifica o símbolo para representar símbolos de entrada invisíveis. Normalmente, este símbolo é "". Palavras invisíveis serão mapeadas para o símbolo.

  • wordclass: isto especifica a informação de classe de palavra. Isto é usado para modelação de linguagem baseada em classe. Um exemplo da informação da classe está abaixo. A primeira coluna é o índice de palavras. A segunda coluna é o número de ocorrências, a terceira coluna é a palavra, e a última coluna é o id de classe da palavra.

    0 42068 </s> 0

    1 50770 the 0

    2 45020 <unk> 0

    3 32481 N 0

    4 24400 of 0

    5 23638 to 0

    6 21196 a 0

    7 18000 in 1

    8 17474 and 1

  • file: o ficheiro contém cadeias de texto. Um exemplo está abaixo. Neste exemplo, também pode notar um sub-blocos nomeado labelIn.

    Pierre N anos de idade vai se juntar ao conselho como um nov diretor não executivo. N mr. é presidente da N.V. o grupo editorial holandês

  • labelIn: a secção para a etiqueta de entrada. Contém as seguintes configurações

    • beginSequence – o símbolo inicial da frase
    • endSequence – o símbolo final da frase
    • labelDim – a dimensão dos rótulos. Isto geralmente significa o tamanho do vocabulário.