Adición y configuración de modelos en el servicio de inferencia de modelos de Azure AI

Artículo
10/30/2024

Puede decidir y configurar qué modelos están disponibles para la inferencia en el punto de conexión de inferencia del modelo del recurso. Cuando se configura un modelo determinado, puede generar predicciones a partir de él si indica su nombre de modelo o nombre de implementación en las solicitudes. No se requieren más cambios en el código para usarlo.

En este artículo, aprenderá a agregar un nuevo modelo al servicio de inferencia del modelo de Azure AI en los servicios de Azure AI.

Requisitos previos

Para completar este artículo, necesitará lo siguiente:

Suscripción a Azure. Si usa Modelos de GitHub, puede actualizar la experiencia y crear una suscripción de Azure en el proceso. Más información en Actualización de Modelos de GitHub a modelos de Azure AI en servicios de IA.
Recurso de Servicios de Azure AI. Para más información, vea Creación de un recurso de Servicios de Azure AI.

Agregar un modelo

Al contrario de lo que sucede en Modelos de GitHub en los que ya están configurados todos los modelos, el recurso de Servicios de Azure AI permite controlar qué modelos están disponibles en el punto de conexión y en qué configuración.

Puede agregar todos los modelos que necesita en el punto de conexión mediante Estudio de IA de Azure para GitHub. En el ejemplo siguiente, se agrega un modelo de Mistral-Large en el servicio:

Vaya a la sección Catálogo de modelos de Estudio de IA de Azure para GitHub.
Desplácese hasta el modelo que le interese y selecciónelo.
Puede revisar los detalles del modelo en la tarjeta del modelo.
Seleccione Implementar.
En el caso de los proveedores de modelos que requieren términos adicionales de contrato, se le pedirá que acepte esos términos. Por ejemplo, los modelos Mistral le piden que acepte otros términos. Para aceptar los términos de esos casos, seleccione Suscribir e implementar.
Puede configurar las opciones de implementación en este momento. De manera predeterminada, la implementación recibe el nombre del modelo que va a implementar. El nombre de la implementación se usa en el parámetro model para solicitar que se enrute a esta implementación de modelo determinada. Este valor también permite configurar nombres específicos para los modelos al adjuntar configuraciones específicas. Por ejemplo, o1-preview-safe para un modelo con un filtro de contenido de seguridad de contenido estricto.

Sugerencia

Cada modelo puede admitir diferentes tipos de implementaciones, lo que proporciona garantías de residencia o rendimiento de datos diferentes. Vea Tipos de implementación para más información.

Use la opción Personalizar si necesita cambiar valores como filtro de contenido o limitación de velocidad (si está disponible).

Seleccione Implementar.
Una vez que se completa la implementación, el nuevo modelo se mostrará en la página y estará listo para usarse.

Uso del modelo

Los modelos implementados en Servicios de Azure AI se pueden consumir mediante el punto de conexión de inferencia del modelo de Azure AI para el recurso.

Para usarla:

Obtenga la dirección URL y las claves del punto de conexión de inferencia del modelo de Azure AI desde la página de implementación o la página Información general. Si va a usar la autenticación de Microsoft Entra ID, no necesita una clave.
Use la dirección URL del punto de conexión de inferencia del modelo y las claves anteriores al construir el cliente. En el ejemplo siguiente se usa el paquete de inferencia de Azure AI:
- Python
- JavaScript
- C#
- Java
- REST
Instale el paquete azure-ai-inference mediante el administrador de paquetes, como pip:
```
pip install azure-ai-inference>=1.0.0b5
```
Advertencia

El recurso de Servicios de Azure AI necesita la versión azure-ai-inference>=1.0.0b5 para Python.

A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:
```
import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)
```
Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.
Instale el paquete @azure-rest/ai-inference mediante npm:
```
npm install @azure-rest/ai-inference
```
A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:
```
import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);
```
Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.
Instale la biblioteca de inferencia de Azure AI con el siguiente comando:
```
dotnet add package Azure.AI.Inference --prerelease
```
Importe los siguientes espacios de nombres:
```
using Azure;
using Azure.Identity;
using Azure.AI.Inference;
```
A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:
```
ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);
```
Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.
Agregue el paquete al proyecto:
```
<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>
```
A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:
```
ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();
```
Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.
Use la sección de referencia para explorar el diseño de la API y qué parámetros están disponibles. Por ejemplo, en la sección de referencia de Finalizaciones de chat se detalla cómo usar la ruta /chat/completions para generar predicciones basadas en instrucciones con formato de chat. Tenga en cuenta que la ruta de acceso /models se incluye en la raíz de la dirección URL:

Solicitar
```
POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json
```

Al construir la solicitud, indique el parámetro model e inserte el nombre de implementación del modelo que ha creado.

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
options.setModel("Mistral-large");

ChatCompletions response = client.complete(options);

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

Solicitud

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Sugerencia

Al usar el punto de conexión, puede cambiar el parámetro model a cualquier implementación de modelo disponible en el recurso.

Además, los modelos de Azure OpenAI se pueden consumir mediante el punto de conexión de servicio de Azure OpenAI en el recurso. Este punto de conexión es exclusivo para cada implementación del modelo y tiene su propia dirección URL.

Personalización de la implementación de modelos

Al crear implementaciones de modelos, puede configurar otras opciones, como el filtrado de contenido y los límites de velocidad. Para configurar más valores, seleccione la opción Personalizar en el Asistente para la implementación.

Nota:

Las configuraciones pueden variar en función del modelo que vaya a implementar.

Pasos siguientes

Desarrollo de aplicaciones mediante el servicio de inferencia del modelo de Azure AI en servicios de Azure AI

Compartir a través de