Sdílet prostřednictvím

Bpe.Tokenize(String) Metoda

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Tokenizace sekvenčního řetězce na seznam tokenů.

public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);
override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>
Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)

Parametry

sequence
String

Posloupnost, která se má tokenizovat.

Návraty

IReadOnlyList<Token>

Seznam tokenů vygenerovaných z tokenizace sekvence.

Platí pro