Referencia: Incrustaciones de imágenes | Azure Machine Learning

Artículo
09/04/2024

Crea un vector de inserción que representa la imagen de entrada y el par de texto.

POST /images/embeddings?api-version=2024-04-01-preview

Parámetros de identificador URI

Nombre	En	Obligatorio	Type	Descripción
api-version	Query	True	string	La versión de la API con el formato "AAAA-MM-DD" o "AAAA-MM-DD-preview".

Encabezado de solicitud

Nombre	Obligatorio	Type	Descripción
parámetros adicionales		string	El comportamiento de la API cuando se indican parámetros adicionales en la carga. El uso de `pass-through` hace que la API pase el parámetro al modelo subyacente. Use este valor cuando desee pasar parámetros que sepa que el modelo subyacente puede admitir. El uso de `ignore` hace que la API quite cualquier parámetro no compatible. Use este valor cuando necesite usar la misma carga en diferentes modelos, pero uno de los parámetros adicionales puede hacer que se produzca un error en un modelo si no se admite. El uso de `error` hace que la API rechace cualquier parámetro adicional en la carga. Solo se pueden indicar los parámetros especificados en esta API o se devuelve un error 400.
azureml-model-deployment		string	Nombre de la implementación a la que desea enrutar la solicitud. Compatible con puntos de conexión que admiten varias implementaciones.

Cuerpo de la solicitud

Nombre	Obligatorio	Type	Descripción
model		string	Nombre del modelo. Este parámetro se omite si el punto de conexión solo sirve a un modelo.
input	True	EmbeddingInput[]	Imagen de entrada que se va a insertar. Para insertar varias entradas en una sola solicitud, pase una matriz. La entrada no debe superar el número máximo de tokens de entrada para el modelo.
dimensiones		integer	Número de dimensiones que deben tener las incrustaciones de salida resultantes. Pasar null hace que el modelo use su valor predeterminado. Devuelve un error 422 si el modelo no admite el valor o el parámetro.
encoding_format		EmbeddingEncodingFormat	Formato en el que se devuelven las incrustaciones. Base64, float, int8, uint8, binary o ubinary. Devuelve un error 422 si el modelo no admite el valor o el parámetro.

Respuestas

Nombre	Escribir	Descripción
200 OK	CreateEmbeddingResponse	OK (CORRECTO)
401 No autorizado	UnauthorizedError	Falta el token de acceso o no es válido encabezados x-ms-error-code: cadena
404 No encontrado	NotFoundError	Modalidad no compatible con el modelo. Compruebe la documentación del modelo para ver qué rutas están disponibles. encabezados x-ms-error-code: cadena
422 Entidad no procesable	UnprocessableContentError	La solicitud contiene contenido no procesable. El error se devuelve cuando la carga indicada es válida según esta especificación. Sin embargo, el modelo subyacente no admite algunas de las instrucciones indicadas en la carga. Use la sección `details` para comprender el parámetro infractor. encabezados x-ms-error-code: cadena
429 Demasiadas solicitudes	TooManyRequestsError	Ha alcanzado el límite de tasa asignado y su solicitud necesita controlarse. encabezados x-ms-error-code: cadena
Otros códigos de estado	ContentFilterError	Solicitud incorrecta encabezados x-ms-error-code: cadena

Seguridad

Authorization

El token con el prefijo Bearer:, por ejemplo, Bearer abcde12345

Tipo: apiKey
En: encabezado

AADToken

Autenticación OAuth2 de Azure Active Directory

Tipo: oauth2
Flujo: aplicación
Dirección URL del token: https://login.microsoftonline.com/common/oauth2/v2.0/token

Ejemplos

Crea un vector de inserción que representa el texto de entrada y la imagen

Solicitud de muestra

POST /images/embeddings?api-version=2024-04-01-preview

{
  "input": [
    {
      "text": "A nice picture of a cat",
      "image": "data:image/jpeg;base64,iVBORw0KG..."
    }
  ],
  "encoding_format": "float",
  "dimensions": 1024
}

Respuesta de ejemplo

Código de estado: 200

{
  "data": [
    {
      "index": 0,
      "object": "embedding",
      "embedding": [
        0,
        0,
        0,
        0,
        0,
        0,
        0,
        0,
        0,
        0,
        0,
        0
      ]
    }
  ],
  "object": "list",
  "model": "DINO",
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 15
  }
}

Definiciones

Nombre	Descripción
ContentFilterError	Se produce un error en la llamada API cuando el mensaje desencadena un filtro de contenido tal como está configurado. Modifique el comando de entrada e inténtelo de nuevo.
CreateEmbeddingResponse
CreateImageEmbeddingRequest
Detalle
Embedding	Representa una imagen generada.
EmbeddingEncodingFormat	Formato en el que se devuelven las incrustaciones. Base64, float, int8, uint8, binary o ubinary. Devuelve un error 422 si el modelo no admite el valor o el parámetro.
EmbeddingObject	El tipo de objeto, que siempre es "embedding".
EmbeddingInput	Representa una imagen con texto opcional.
ListObject	Tipo de objeto, que siempre es "list".
NotFoundError
TooManyRequestsError
UnauthorizedError
UnprocessableContentError	La solicitud contiene contenido no procesable. El error se devuelve cuando la carga indicada es válida según esta especificación. Sin embargo, el modelo subyacente no admite algunas de las instrucciones indicadas en la carga. Use la sección `details` para comprender el parámetro infractor.
Uso	Información de uso de la solicitud.

ContentFilterError

Se produce un error en la llamada API cuando el mensaje desencadena un filtro de contenido tal como está configurado. Modifique el comando de entrada e inténtelo de nuevo.

Nombre	Escribir	Descripción
código	string	Código de error.
error	string	Descripción del error.
message	string	El mensaje de error.
param	string	Parámetro que desencadenó el filtro de contenido.
status	integer	El código de estado HTTP.

CreateEmbeddingResponse

Nombre	Escribir	Descripción
data	Embedding[]	Lista de incrustaciones generadas por el modelo.
model	string	Nombre del modelo usado para generar la inserción.
objeto	ListObject	Tipo de objeto, que siempre es "list".
usada	Uso	Información de uso de la solicitud.

CreateImageEmbeddingRequest

Nombre	Type	Valor predeterminado	Descripción
dimensiones	integer		Número de dimensiones que deben tener las incrustaciones de salida resultantes. Pasar null hace que el modelo use su valor predeterminado. Devuelve un error 422 si el modelo no admite el valor o el parámetro.
encoding_format	EmbeddingEncodingFormat	flotante	Formato en el que se devuelven las incrustaciones. Base64, float, int8, uint8, binary o ubinary. Devuelve un error 422 si el modelo no admite el valor o el parámetro.
input	EmbeddingInput[]		Imagen de entrada que se va a insertar. Para insertar varias entradas en una sola solicitud, pase una matriz. La entrada no debe superar el número máximo de tokens de entrada para el modelo.

Detalle

Nombre	Escribir	Descripción
loc	string[]	Parámetro que causa el problema
value	string	Valor pasado al parámetro que provoca problemas.

Embedding

Representa una imagen generada.

Nombre	Escribir	Descripción
insertar	number[]	Vector de inserción, que es una lista de floats. La longitud del vector depende del modelo utilizado.
índice	integer	Índice de la inserción en la lista de inserciones.
objeto	EmbeddingObject	El tipo de objeto, que siempre es "embedding".

EmbeddingEncodingFormat

Formato en el que se devuelven las incrustaciones. Base64, float, int8, uint8, binary o ubinary. Devuelve un error 422 si el modelo no admite el valor o el parámetro.

Nombre	Escribir	Descripción
base64	string
binary	string
flotante	string
int8	string
ubinary	string
uint8	string

EmbeddingObject

El tipo de objeto, que siempre es "embedding".

Nombre	Escribir	Descripción
insertar	string

EmbeddingInput

Representa una imagen con texto opcional.

Nombre	Escribir	Descripción
imagen	string	Imagen de entrada codificada en una cadena `base64` como una dirección URL de datos. Ejemplo: `data:image/{format};base64,{data}`.
text	string	Opcional. Entrada de texto que se va a introducir en el modelo (como DINO, CLIP). Devuelve un error 422 si el modelo no admite el valor o el parámetro.

ListObject

Tipo de objeto, que siempre es "list".

Nombre	Escribir	Description
list	string

NotFoundError

Nombre	Escribir	Descripción
error	string	Descripción del error.
message	string	El mensaje de error.
status	integer	El código de estado HTTP.

TooManyRequestsError

Nombre	Escribir	Descripción
error	string	Descripción del error.
message	string	El mensaje de error.
status	integer	El código de estado HTTP.

UnauthorizedError

Nombre	Escribir	Descripción
error	string	Descripción del error.
message	string	El mensaje de error.
status	integer	El código de estado HTTP.

UnprocessableContentError

La solicitud contiene contenido no procesable. El error se devuelve cuando la carga indicada es válida según esta especificación. Sin embargo, el modelo subyacente no admite algunas de las instrucciones indicadas en la carga. Use la sección details para comprender el parámetro infractor.

Nombre	Escribir	Descripción
código	string	Código de error.
detalles	Detalle
error	string	Descripción del error.
message	string	El mensaje de error.
status	integer	El código de estado HTTP.

Uso

Información de uso de la solicitud.

Nombre	Escribir	Descripción
prompt_patches	integer	Número de revisiones de imagen usadas por el símbolo del sistema de imagen.
prompt_tokens	integer	Número de tokens usados por el símbolo del sistema.
total_patches	integer	Número total de revisiones usadas por la solicitud.
total_tokens	integer	El número total de tokens usados por la solicitud.

Compartir a través de