Tokenizer.DefaultTokenizerImpl(String, String) Metoda

Odwołanie

Definicja

Przestrzeń nazw:: Microsoft.Bot.Builder.Dialogs.Choices

Zestaw:: Microsoft.Bot.Builder.Dialogs.dll

Pakiet:: Microsoft.Bot.Builder.Dialogs v4.22.7

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Prosty tokenizator, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest małe litery.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parametry

text: String

Tekst wejściowy.

locale: String

Opcjonalnie identyfikuje ustawienia regionalne tekstu wejściowego.

Zwraca

List<Token>

Lista tokenów.

Uwagi

Jest to dokładny port implementacji algorytmu JavaScript, z tą różnicą, że w tym miejscu funkcje biblioteki platformy .NET są używane zamiast funkcji punktu kodu ciągu języka JavaScript.

Dotyczy

Udostępnij za pośrednictwem