Tokenizer.DefaultTokenizerImpl(String, String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Einfacher Tokenizer, der Leerzeichen und Interpunktion unterbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parameter
- text
- String
Der Eingabetext.
- locale
- String
Optional, gibt das Gebietsschema des Eingabetexts an.
Gibt zurück
Eine Liste mit Token.
Hinweise
Dies ist ein exakter Port der JavaScript-Implementierung des Algorithmus, mit der Ausnahme, dass hier die .NET-Bibliotheksfunktionen anstelle der JavaScript-Codepunktfunktionen verwendet werden.