Compartir a través de


AddedToken Estructura

Definición

Representa un token agregado por el usuario sobre el vocabulario del modelo existente. AddedToken se puede configurar para especificar el comportamiento que deben tener en varias situaciones como:

  • Si solo deben coincidir con palabras únicas
  • Independientemente de si se debe incluir cualquier espacio en blanco de su izquierda o derecha
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>
type AddedToken = struct
Public Structure AddedToken
Implements IEquatable(Of AddedToken)
Herencia
AddedToken
Implementaciones

Constructores

AddedToken()

Cree un nuevo objeto AddedToken.

AddedToken(String, Boolean)

Cree un nuevo objeto AddedToken a partir del contenido especificado, especificando si está pensado para ser un token especial. Los tokens especiales no se normalizan de forma predeterminada.

Propiedades

Content

Obtiene o establece el contenido del token agregado.

Métodos

Equals(AddedToken)

Determina si dos instancias de token son iguales.

GetHashCode()

Devuelve el código hash del token actual.

Operadores

Implicit(String to AddedToken)

Define una conversión implícita de un objeto de cadena en AddedToken.

Se aplica a