Sdílet prostřednictvím

PreTokenizer Třída

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Základní třída pro všechny třídy pre-tokenizers. PreTokenizer má na starosti provedení kroku před segmentací.

public abstract class PreTokenizer
type PreTokenizer = class
Public MustInherit Class PreTokenizer
Dědičnost
Object
PreTokenizer
Odvozené

Konstruktory

PreTokenizer()

Základní třída pro všechny třídy pre-tokenizers. PreTokenizer má na starosti provedení kroku před segmentací.

Metody

PreTokenize(String)

Rozdělí daný řetězec na více podřetězců na hranici slova a sleduje posuny uvedených podřetězců od původního řetězce.

Platí pro