PreTokenizer.PreTokenize(String) メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
指定された文字列を単語の境界で複数の部分文字列に分割し、元の文字列からの部分文字列のオフセットを追跡します。
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string sentence);abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)パラメーター
- sentence
- String
トークンに分割する文字列。
戻り値
トークンを含む分割の一覧と、元の文字列に対するトークンのオフセット。