Tokenizer クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

既定のトークナイザー実装を提供します。

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

既定のトークナイザー実装を提供します。

既定の実装を取得します TokenizerFunction 。

スペースと句読点で区切る単純なトークナイザー。行われる正規化は、小文字のみです。