Model.Tokenize(String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Tokenisieren Sie eine Sequenzzeichenfolge in eine Liste von Token.
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parameter
- sequence
- String
Die zu tokenisierende Sequenz.
Gibt zurück
Die Liste der Token, die aus der Sequenztokenisierung generiert wurden.