Tokenizer.DefaultTokenizerImpl(String, String) Metoda

Reference

Definice

Obor názvů:: Microsoft.Bot.Builder.Dialogs.Choices

Sestavení:: Microsoft.Bot.Builder.Dialogs.dll

Balíček:: Microsoft.Bot.Builder.Dialogs v4.22.7

Důležité

Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.

Jednoduchý tokenizátor, který přeruší mezery a interpunkci. Jedinou provedenou normalizací je malá písmena.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parametry

text: String

Vstupní text.

locale: String

Volitelné, určuje národní prostředí vstupního textu.

Návraty

List<Token>

Seznam tokenů.

Poznámky

Toto je přesný port javascriptové implementace algoritmu s tím rozdílem, že funkce knihovny .NET se tady používají místo funkcí bodu kódu řetězce JavaScriptu.

Platí pro

Sdílet prostřednictvím