BpeTrainer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
El instructor de Bpe responsable de entrenar el modelo Bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Herencia
Constructores
| BpeTrainer() |
Construya un nuevo objeto BpeTrainer con los valores predeterminados. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Construya un nuevo objeto BpeTrainer. |
Propiedades
| ContinuingSubwordPrefix |
Obtiene el prefijo que se va a usar para cada sub word que no es un principio de palabra. |
| EndOfWordSuffix |
Obtiene el sufijo que se va a usar para cada sub word que sea un final de palabra. |
| InitialAlphabet |
Obtiene la lista de caracteres que se van a incluir en el alfabeto inicial, incluso si no se ve en el conjunto de datos de entrenamiento. Si las cadenas contienen más de un carácter, solo se conserva la primera. |
| LimitAlphabet |
Obtiene el máximo de caracteres diferentes que se conservarán en el alfabeto. |
| MinFrequency |
Obtiene la frecuencia mínima que debe tener un par para poder combinarse. |
| Progress |
Se establece cuando es necesario notificar el progreso durante el entrenamiento. (Heredado de Trainer) |
| SpecialTokens |
Obtiene la lista de tokens especiales de los que debe conocer el modelo. |
| VocabSize |
Obtiene el tamaño del vocabulario final, incluidos todos los tokens y el alfabeto. |
Métodos
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Procesar las secuencias de entrada y alimentar el resultado al modelo. |
| Train(Model) |
Realice el entrenamiento real y actualice el modelo de entrada con los nuevos vocabularios y combina datos. |