Tokenizer.DefaultTokenizerImpl(String, String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokenizador simple que se interrumpe en espacios y puntuación. La única normalización realizada es en minúsculas.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parámetros
- text
- String
Texto de entrada.
- locale
- String
Opcional, identifica la configuración regional del texto de entrada.
Devoluciones
Una lista de tokens.
Comentarios
Se trata de un puerto exacto de la implementación de JavaScript del algoritmo, salvo que aquí se usan las funciones de biblioteca de .NET en lugar de las funciones de punto de código de cadena de JavaScript.