WhiteSpace クラス

定義

名前空間:

Microsoft.ML.Tokenizers

アセンブリ:

Microsoft.ML.Tokenizers.dll

パッケージ:

Microsoft.ML.Tokenizers v0.21.1

単語の境界でテキストを分割する事前トークナイザー。 単語は、アルファベット、数字、アンダースコアの文字のセットです。

public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizer

type WhiteSpace = class
    inherit PreTokenizer

Public NotInheritable Class WhiteSpace
Inherits PreTokenizer

継承

Object

PreTokenizer

WhiteSpace

コンストラクター

WhiteSpace()

単語の境界でテキストを分割する事前トークナイザー。 単語は、アルファベット、数字、アンダースコアの文字のセットです。

フィールド

Instance

WhiteSpace pre-tokenizer のシングルトン インスタンスを取得します。

メソッド

PreTokenize(String)

指定された文字列を単語の境界で複数の部分文字列に分割し、元の文字列からの部分文字列のオフセットを追跡します。