WordTokenizingEstimator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Tokeniza o texto de entrada usando delimitadores especificados.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Herança
Comentários
Características do avaliador
| Esse avaliador precisa examinar os dados para treinar seus parâmetros? | No |
| Tipo de dados de coluna de entrada | Escalar ou Vetor de Texto |
| Tipo de dados da coluna de saída | Vetor de texto de tamanho variável |
| Exportável para ONNX | Sim |
O resultado WordTokenizingTransformer cria uma nova coluna, nomeada conforme especificado nos parâmetros de nome da coluna de saída, em que cada cadeia de caracteres de entrada é mapeada para um vetor de subcadeias de caracteres obtidas dividindo a cadeia de caracteres de entrada de acordo com os delimitadores definidos pelo usuário. O caractere de espaço é o delimitador padrão.
Cadeias de caracteres vazias e cadeias de caracteres que contêm apenas espaços são descartadas.
Verifique a seção Consulte Também para obter links para exemplos de uso.
Métodos
| Fit(IDataView) |
Tokeniza o texto de entrada usando delimitadores especificados. (Herdado de TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Retorna o SchemaShape esquema que será produzido pelo transformador. Usado para propagação e verificação de esquema em um pipeline. |
Métodos de Extensão
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Acrescente um 'ponto de verificação de cache' à cadeia do avaliador. Isso garantirá que os estimadores downstream sejam treinados em relação aos dados armazenados em cache. É útil ter um ponto de verificação de cache antes dos treinadores que levam vários passes de dados. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dado um avaliador, retorne um objeto de encapsulamento que chamará um delegado uma vez Fit(IDataView) que seja chamado. Geralmente, é importante que um avaliador retorne informações sobre o que estava em forma, e é por isso que o Fit(IDataView) método retorna um objeto especificamente tipado, em vez de apenas um geral ITransformer. No entanto, ao mesmo tempo, IEstimator<TTransformer> muitas vezes são formados em pipelines com muitos objetos, portanto, talvez seja necessário criar uma cadeia de avaliadores por meio EstimatorChain<TLastTransformer> de onde o estimador para o qual queremos obter o transformador está enterrado em algum lugar nesta cadeia. Para esse cenário, podemos por meio desse método anexar um delegado que será chamado assim que o ajuste for chamado. |