Actualización de Modelos de GitHub al servicio de inferencia del modelo de Azure AI

Si quiere desarrollar una aplicación de IA generativa, puede usar Modelos de GitHub para buscar y experimentar con modelos de inteligencia artificial de forma gratuita. La utilización del área de juegos y el uso gratis de la API llevan una limitación de volumen que se aplica por solicitudes y minuto, solicitudes y día, tokens por solicitud y solicitudes simultáneas. Si obtiene una limitación de volumen, tendrá que esperar a alcanzarla antes de poder realizar más solicitudes.

Una vez que ya pueda llevar la aplicación a producción, puede actualizar la experiencia mediante la implementación de un recurso de Servicios de Azure AI en una suscripción de Azure y empezar a usar el servicio de inferencia del modelo de Azure AI. No es necesario cambiar nada en el código.

En el siguiente artículo se explica cómo empezar a trabajar desde Modelos de GitHub en modelos de Azure AI para los servicios de Azure AI.

Requisitos previos

Para completar este tutorial, necesita:

• Una cuenta de GitHub con acceso a Modelos de GitHub.

• Suscripción a Azure. Si no tiene una, se le pedirá que cree o actualice la cuenta de Azure a una cuenta de pago por uso cuando ya pueda implementar el modelo en producción.

Actualización a Servicios de Azure AI

Los límites de volumen para el área de juegos y la utilización gratis de la API están diseñados para ayudarle a experimentar con modelos y desarrollar la aplicación de IA. Cuando ya pueda llevar la aplicación a producción, use una clave y un punto de conexión de una cuenta de Azure de pago. No es necesario cambiar nada en el código.

Para obtener la clave y el punto de conexión:

1. En el área de juegos del modelo, seleccione Obtener clave de API.

2. Seleccione Obtener clave de producción.

3. Si no tiene una cuenta de Azure, seleccione Crear mi cuenta y siga los pasos para crear una.

4. Si tiene una cuenta de Azure, seleccione Iniciar sesión de nuevo.

5. Si la cuenta existente es una cuenta gratuita, primero debe actualizar a un plan de pago por uso. Una vez que realice la actualización, vuelva al área de juegos y seleccione Obtener clave de API de nuevo e inicie sesión con la cuenta actualizada.

6. Una vez que haya iniciado sesión en la cuenta de Azure, accederá a Azure AI Foundry.

7. En la parte superior de la página, seleccione Ir al recurso de GitHub AI para ir a Azure AI Foundry / Github](https://ai.azure.com/github). Puede tardar uno o dos minutos en cargar los detalles iniciales del modelo en el portal de AI Foundry.

8. La página se carga con los detalles del modelo. Seleccione el botón Crear una implementación para implementar el modelo en la cuenta.

9. Una vez que se implemente, la clave de API y el punto de conexión del modelo se muestran en Información general. Use estos valores en el código para utilizar el modelo en el entorno de producción.

   

En este momento, el modelo seleccionado está listo para consumirse.

Sugerencia

Use el parámetro model="<deployment-name> para enrutar la solicitud a esta implementación. Las implementaciones funcionan como un alias de un modelo determinado en determinadas configuraciones. Vea la página de concepto Enrutamiento para obtener información sobre cómo se enrutan las implementaciones en Servicios de Azure AI.

Actualización del código para usar el nuevo punto de conexión

Una vez que configure el recurso de Servicios de Azure AI, puede empezar a consumirlo desde el código. Necesita la dirección URL del punto de conexión y la clave, que se pueden encontrar en la sección Información general:

Puede usar cualquiera de los SDK admitidos para obtener predicciones desde el punto de conexión. Oficialmente se admiten los siguientes SDK:

• SDK de OpenAI
• SDK de Azure OpenAI
• SDK de inferencia de Azure AI

Vea la sección Lenguajes y SDK admitidos para obtener más detalles y ejemplos. En el ejemplo siguiente se muestra cómo usar el SDK de inferencia del modelo de Azure AI con el modelo recién implementado:

Python

Instale el paquete azure-ai-inference mediante el administrador de paquetes, como pip:

pip install azure-ai-inference>=1.0.0b5

Advertencia

El recurso de Servicios de Azure AI necesita la versión azure-ai-inference>=1.0.0b5 para Python.

A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.

JavaScript

Instale el paquete @azure-rest/ai-inference mediante npm:

npm install @azure-rest/ai-inference

A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.

C#

Instale la biblioteca de inferencia de Azure AI con el siguiente comando:

dotnet add package Azure.AI.Inference --prerelease

Importe los siguientes espacios de nombres:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.

Java

Agregue el paquete al proyecto:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

A continuación, puede usar el paquete para consumir el modelo. En el ejemplo siguiente se muestra cómo crear un cliente para consumir finalizaciones de chat:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("{endpoint}")
    .buildClient();

Explore nuestros ejemplos y lea la documentación de referencia de API para empezar a trabajar.

REST

Use la sección de referencia para explorar el diseño de la API y qué parámetros están disponibles. Por ejemplo, en la sección de referencia de Finalizaciones de chat se detalla cómo usar la ruta /chat/completions para generar predicciones basadas en instrucciones con formato de chat. Tenga en cuenta que la ruta de acceso /models se incluye en la raíz de la dirección URL:

Solicitar

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Genere la primera finalización del chat:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletionsOptions options = new ChatCompletionsOptions(chatMessages);
options.setModel("Mistral-large");

ChatCompletions response = client.complete(options);

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

REST

Solicitud

POST models/chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Exploración de más características

La inferencia del modelo de Azure AI admite más características que no están disponibles en Modelos de GitHub, entre las que se incluyen las siguientes:

• Explorar el catálogo de modelos para ver otros modelos que no están disponibles en Modelos de GitHub.
• Configurar filtros de contenido.
• Configurar la limitación de volumen (para modelos específicos).
• Explorar más SKU de implementación (para modelos específicos).
• Configurar redes privadas.

¿Tiene algún problema?

Vea la sección Preguntas más frecuentes para explorar ayuda adicional.

Pasos siguientes

• Agregar más modelos al punto de conexión.
• Explore el catálogo de modelos en el portal de Azure AI Foundry.