EnglishRoberta.Tokenize(String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Tokenisieren Sie eine Sequenzzeichenfolge in eine Liste von Token.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parameter
- sequence
- String
Die zu tokenisierende Sequenz.
Gibt zurück
Die Liste der Token, die aus der Sequenztokenisierung generiert wurden.