Tokenizer.DefaultTokenizerImpl(String, String) メソッド

リファレンス

定義

名前空間:: Microsoft.Bot.Builder.Dialogs.Choices

アセンブリ:: Microsoft.Bot.Builder.Dialogs.dll

パッケージ:: Microsoft.Bot.Builder.Dialogs v4.22.7

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

スペースと句読点で区切る単純なトークナイザー。行われる正規化は、小文字のみです。

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

パラメーター

text: String

入力テキスト。

locale: String

省略可能。入力テキストのロケールを識別します。

戻り値

List<Token>

トークンの一覧。

注釈

これは、アルゴリズムの JavaScript 実装の正確なポートです。ただし、ここでは.NET ライブラリ関数が JavaScript 文字列コードポイント関数の代わりに使用されます。

適用対象