Tokenizer.DefaultTokenizerImpl(String, String) Método

Referência

Definição

Namespace:: Microsoft.Bot.Builder.Dialogs.Choices

Assembly:: Microsoft.Bot.Builder.Dialogs.dll

Pacote:: Microsoft.Bot.Builder.Dialogs v4.22.7

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Tokenizer simples que quebra em espaços e pontuação. A única normalização feita é em minúsculas.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parâmetros

text: String

O texto de entrada.

locale: String

Opcional, identifica a localidade do texto de entrada.

Retornos

List<Token>

Uma lista de tokens.

Comentários

Essa é uma porta exata da implementação javaScript do algoritmo, exceto que aqui as funções da biblioteca .NET são usadas no lugar das funções de ponto de código da cadeia de caracteres JavaScript.

Aplica-se a

Compartilhar via