Tokenizer.DefaultTokenizerImpl(String, String) Метод
Определение
Важно!
Некоторые сведения относятся к предварительной версии продукта, в которую до выпуска могут быть внесены существенные изменения. Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, относительно приведенных здесь сведений.
Простой создатель маркеров, который разбивается на пробелы и знаки препинания. Единственная нормализация выполняется в нижнем регистре.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Параметры
- text
- String
Входной текст.
- locale
- String
Необязательно. Определяет языковой стандарт входного текста.
Возвращаемое значение
Список токенов.
Комментарии
Это точный порт реализации javaScript алгоритма, за исключением того, что здесь функции библиотеки .NET используются вместо функций строковых кодовых точек JavaScript.