Uso de modelos de chat de Cohere Command con Estudio de Azure Machine Learning

En este artículo, obtendrá información sobre los modelos de chat de Cohere Command y cómo usarlos. La familia de modelos de Cohere incluye varios modelos optimizados para distintos casos de uso, como finalizaciones de chat, inserciones y Rerank. Los modelos de Cohere están optimizados para diversos casos de uso que incluyen el razonamiento, el resumen y la respuesta a preguntas.

Importante

Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin un Acuerdo de Nivel de Servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.

Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

Modelos de chat de Cohere Command

Los modelos de chat de Cohere Command incluyen los siguientes modelos:

Cohere Command R+ 08-2024

Comando R+ 08-2024 es un modelo de lenguaje grande generativo optimizado para varios casos de uso, incluido el razonamiento, el resumen y la respuesta a preguntas.

• Arquitectura de modelos: Command R+ 08-2024 es un modelo de lenguaje de entrada automática que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ 08-2024 para los flujos de trabajo que se basan en la compleja funcionalidad de generación aumentada de recuperación (RAG), uso de herramientas de varios pasos (agentes) y salidas estructuradas.

Están disponibles los siguientes modelos:

• Cohere-command-r-plus-08-2024

Cohere Command R 08-2024

Command R 08-2024 es un modelo de lenguaje grande optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R 08-2024 es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Están disponibles los siguientes modelos:

• Cohere-command-r-08-2024

Cohere Command R+

Command R+ es un modelo de lenguaje a gran escala generativo, optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R+ es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ para esos flujos de trabajo que se basan en la funcionalidad de generación aumentada de recuperación compleja (RAG) y el uso de herramientas de varios pasos (agentes).

Están disponibles los siguientes modelos:

• Cohere-command-r-plus

Cohere Command R

Command R es un gran modelo de lenguaje optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R admite una longitud de contexto de 128 000.

Command R es excelente para la generación aumentada de recuperación más sencilla (RAG) y las tareas de uso de herramientas de un solo paso. También es perfecto para usar en aplicaciones donde el precio es una consideración importante.

Están disponibles los siguientes modelos:

• Cohere-command-r

Sugerencia

Además, Cohere admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte documentación de Cohere o visite la sección ejemplos de inferencia para ver ejemplos de código.

Requisitos previos

Para usar los modelos de chat de Cohere Command con Azure Machine Learning, es preciso cumplir los siguientes requisitos previos:

Implementación de un modelo

Implementación en API sin servidor

Los modelos de chat de Cohere Command se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no se ha implementado, es preciso usar Estudio de Azure Machine Learning o, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete azure-ai-inference con Python. Para instalar este paquete, necesita los siguientes requisitos previos:

• Python 3.8 o posterior instalado, incluido pip.
• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale el paquete de inferencia de Azure AI con el siguiente comando:

pip install azure-ai-inference

Más información sobre el Paquete de inferencia y referencia de Azure AI.

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia del modelo de Azure AI permite "hablar" con la mayoría de los modelos implementados en Azure Machine Learning con el mismo código y estructura, incluidos los modelos de chat de Cohere Command.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZURE_INFERENCE_ENDPOINT"],
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

model_info = client.get_model_info()

La respuesta es la siguiente:

print("Model name:", model_info.model_name)
print("Model type:", model_info.model_type)
print("Model provider name:", model_info.model_provider_name)

Model name: Cohere-command-r-plus-08-2024
Model type: chat-completions
Model provider name: Cohere

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
)

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

print("Response:", response.choices[0].message.content)
print("Model:", response.model)
print("Usage:")
print("\tPrompt tokens:", response.usage.prompt_tokens)
print("\tTotal tokens:", response.usage.total_tokens)
print("\tCompletion tokens:", response.usage.completion_tokens)

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Cohere-command-r-plus-08-2024
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

result = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    temperature=0,
    top_p=1,
    max_tokens=2048,
    stream=True,
)

Para transmitir finalizaciones, establezca stream=True al llamar al modelo.

Para visualizar la salida, defina una función auxiliar para imprimir la secuencia.

def print_stream(result):
    """
    Prints the chat completion with streaming.
    """
    import time
    for update in result:
        if update.choices:
            print(update.choices[0].delta.content, end="")

Puede visualizar cómo el streaming genera contenido:

print_stream(result)

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

from azure.ai.inference.models import ChatCompletionsResponseFormatText

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    presence_penalty=0.1,
    frequency_penalty=0.8,
    max_tokens=2048,
    stop=["<|endoftext|>"],
    temperature=0,
    top_p=1,
    response_format={ "type": ChatCompletionsResponseFormatText() },
)

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat de comandos de Cohere pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

from azure.ai.inference.models import ChatCompletionsResponseFormatJSON

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant that always generate responses in JSON format, using."
                      " the following format: { ""answer"": ""response"" }."),
        UserMessage(content="How many languages are in the world?"),
    ],
    response_format={ "type": ChatCompletionsResponseFormatJSON() }
)

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    model_extras={
        "logprobs": True
    }
)

Uso de herramientas

El modelo de chat de Cohere Command admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

from azure.ai.inference.models import FunctionDefinition, ChatCompletionsFunctionToolDefinition

flight_info = ChatCompletionsFunctionToolDefinition(
    function=FunctionDefinition(
        name="get_flight_info",
        description="Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
        parameters={
            "type": "object",
            "properties": {
                "origin_city": {
                    "type": "string",
                    "description": "The name of the city where the flight originates",
                },
                "destination_city": {
                    "type": "string",
                    "description": "The flight destination city",
                },
            },
            "required": ["origin_city", "destination_city"],
        },
    )
)

tools = [flight_info]

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

def get_flight_info(loc_origin: str, loc_destination: str):
    return { 
        "info": f"There are no flights available from {loc_origin} to {loc_destination}. You should take a train, specially if it helps to reduce CO2 emissions."
    }

Nota:

Cohere-command-r-plus-08-2024, Cohere-command-r-08-2024, Cohere-command-r-plus y Cohere-command-r requieren que las respuestas de una herramienta sean un contenido JSON válido con formato de cadena. Al construir mensajes de tipo Tool, asegúrese de que la respuesta es una cadena JSON válida.

Pida al modelo que reserve vuelos con la ayuda de esta función:

messages = [
    SystemMessage(
        content="You are a helpful assistant that help users to find information about traveling, how to get"
                " to places and the different transportations options. You care about the environment and you"
                " always have that in mind when answering inqueries.",
    ),
    UserMessage(
        content="When is the next flight from Miami to Seattle?",
    ),
]

response = client.complete(
    messages=messages, tools=tools, tool_choice="auto"
)

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

response_message = response.choices[0].message
tool_calls = response_message.tool_calls

print("Finish reason:", response.choices[0].finish_reason)
print("Tool call:", tool_calls)

Para continuar, anexe este mensaje al historial de chats:

messages.append(
    response_message
)

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

import json
from azure.ai.inference.models import ToolMessage

for tool_call in tool_calls:

    # Get the tool details:

    function_name = tool_call.function.name
    function_args = json.loads(tool_call.function.arguments.replace("\'", "\""))
    tool_call_id = tool_call.id

    print(f"Calling function `{function_name}` with arguments {function_args}")

    # Call the function defined above using `locals()`, which returns the list of all functions 
    # available in the scope as a dictionary. Notice that this is just done as a simple way to get
    # the function callable from its string name. Then we can call it with the corresponding
    # arguments.

    callable_func = locals()[function_name]
    function_response = callable_func(**function_args)

    print("->", function_response)

    # Once we have a response from the function and its arguments, we can append a new message to the chat 
    # history. Notice how we are telling to the model that this chat message came from a tool:

    messages.append(
        ToolMessage(
            tool_call_id=tool_call_id,
            content=json.dumps(function_response)
        )
    )

Vea la respuesta del modelo:

response = client.complete(
    messages=messages,
    tools=tools,
)

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido (versión preliminar) detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en indicaciones de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

from azure.ai.inference.models import AssistantMessage, UserMessage, SystemMessage

try:
    response = client.complete(
        messages=[
            SystemMessage(content="You are an AI assistant that helps people find information."),
            UserMessage(content="Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."),
        ]
    )

    print(response.choices[0].message.content)

except HttpResponseError as ex:
    if ex.status_code == 400:
        response = ex.response.json()
        if isinstance(response, dict) and "error" in response:
            print(f"Your request triggered an {response['error']['code']} error:\n\t {response['error']['message']}")
        else:
            raise
    raise

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat de Cohere Command

Los modelos de chat de Cohere Command incluyen los siguientes modelos:

Cohere Command R+ 08-2024

Comando R+ 08-2024 es un modelo de lenguaje grande generativo optimizado para varios casos de uso, incluido el razonamiento, el resumen y la respuesta a preguntas.

• Arquitectura de modelos: Command R+ 08-2024 es un modelo de lenguaje de entrada automática que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ 08-2024 para los flujos de trabajo que se basan en la compleja funcionalidad de generación aumentada de recuperación (RAG), uso de herramientas de varios pasos (agentes) y salidas estructuradas.

Están disponibles los siguientes modelos:

• Cohere-command-r-plus-08-2024

Cohere Command R 08-2024

Command R 08-2024 es un modelo de lenguaje grande optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R 08-2024 es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Están disponibles los siguientes modelos:

• Cohere-command-r-08-2024

Cohere Command R+

Command R+ es un modelo de lenguaje a gran escala generativo, optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R+ es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ para esos flujos de trabajo que se basan en la funcionalidad de generación aumentada de recuperación compleja (RAG) y el uso de herramientas de varios pasos (agentes).

Están disponibles los siguientes modelos:

• Cohere-command-r-plus

Cohere Command R

Command R es un gran modelo de lenguaje optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R admite una longitud de contexto de 128 000.

Command R es excelente para la generación aumentada de recuperación más sencilla (RAG) y las tareas de uso de herramientas de un solo paso. También es perfecto para usar en aplicaciones donde el precio es una consideración importante.

Están disponibles los siguientes modelos:

• Cohere-command-r

Sugerencia

Además, Cohere admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte documentación de Cohere o visite la sección ejemplos de inferencia para ver ejemplos de código.

Requisitos previos

Para usar los modelos de chat de Cohere Command con Azure Machine Learning, es preciso cumplir los siguientes requisitos previos:

Implementación de un modelo

Implementación en API sin servidor

Los modelos de chat de Cohere Command se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Inteligencia artificial de Estudio de Azure Machine Learning o, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete @azure-rest/ai-inference de npm. Para instalar este paquete, necesita los siguientes requisitos previos:

• Versiones LTS de Node.js con npm.
• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale la biblioteca de Inferencia de Azure para JavaScript con el siguiente comando:

npm install @azure-rest/ai-inference

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia del modelo de Azure AI permite "hablar" con la mayoría de los modelos implementados en Azure Machine Learning con el mismo código y estructura, incluidos los modelos de chat de Cohere Command.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZURE_INFERENCE_ENDPOINT, 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

var model_info = await client.path("/info").get()

La respuesta es la siguiente:

console.log("Model name: ", model_info.body.model_name)
console.log("Model type: ", model_info.body.model_type)
console.log("Model provider name: ", model_info.body.model_provider_name)

Model name: Cohere-command-r-plus-08-2024
Model type: chat-completions
Model provider name: Cohere

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
    }
});

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

if (isUnexpected(response)) {
    throw response.body.error;
}

console.log("Response: ", response.body.choices[0].message.content);
console.log("Model: ", response.body.model);
console.log("Usage:");
console.log("\tPrompt tokens:", response.body.usage.prompt_tokens);
console.log("\tTotal tokens:", response.body.usage.total_tokens);
console.log("\tCompletion tokens:", response.body.usage.completion_tokens);

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Cohere-command-r-plus-08-2024
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
    }
}).asNodeStream();

Para transmitir finalizaciones, use .asNodeStream() al llamar al modelo.

Puede visualizar cómo el streaming genera contenido:

var stream = response.body;
if (!stream) {
    stream.destroy();
    throw new Error(`Failed to get chat completions with status: ${response.status}`);
}

if (response.status !== "200") {
    throw new Error(`Failed to get chat completions: ${response.body.error}`);
}

var sses = createSseStream(stream);

for await (const event of sses) {
    if (event.data === "[DONE]") {
        return;
    }
    for (const choice of (JSON.parse(event.data)).choices) {
        console.log(choice.delta?.content ?? "");
    }
}

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        presence_penalty: "0.1",
        frequency_penalty: "0.8",
        max_tokens: 2048,
        stop: ["<|endoftext|>"],
        temperature: 0,
        top_p: 1,
        response_format: { type: "text" },
    }
});

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat de comandos de Cohere pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

var messages = [
    { role: "system", content: "You are a helpful assistant that always generate responses in JSON format, using."
        + " the following format: { \"answer\": \"response\" }." },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        response_format: { type: "json_object" }
    }
});

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    headers: {
        "extra-params": "pass-through"
    },
    body: {
        messages: messages,
        logprobs: true
    }
});

Uso de herramientas

El modelo de chat de Cohere Command admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

const flight_info = {
    name: "get_flight_info",
    description: "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
    parameters: {
        type: "object",
        properties: {
            origin_city: {
                type: "string",
                description: "The name of the city where the flight originates",
            },
            destination_city: {
                type: "string",
                description: "The flight destination city",
            },
        },
        required: ["origin_city", "destination_city"],
    },
}

const tools = [
    {
        type: "function",
        function: flight_info,
    },
];

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

function get_flight_info(loc_origin, loc_destination) {
    return {
        info: "There are no flights available from " + loc_origin + " to " + loc_destination + ". You should take a train, specially if it helps to reduce CO2 emissions."
    }
}

Nota:

Cohere-command-r-plus-08-2024, Cohere-command-r-08-2024, Cohere-command-r-plus y Cohere-command-r requieren que las respuestas de una herramienta sean un contenido JSON válido con formato de cadena. Al construir mensajes de tipo Tool, asegúrese de que la respuesta es una cadena JSON válida.

Pida al modelo que reserve vuelos con la ayuda de esta función:

var result = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        tools: tools,
        tool_choice: "auto"
    }
});

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

const response_message = response.body.choices[0].message;
const tool_calls = response_message.tool_calls;

console.log("Finish reason: " + response.body.choices[0].finish_reason);
console.log("Tool call: " + tool_calls);

Para continuar, anexe este mensaje al historial de chats:

messages.push(response_message);

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

function applyToolCall({ function: call, id }) {
    // Get the tool details:
    const tool_params = JSON.parse(call.arguments);
    console.log("Calling function " + call.name + " with arguments " + tool_params);

    // Call the function defined above using `window`, which returns the list of all functions 
    // available in the scope as a dictionary. Notice that this is just done as a simple way to get
    // the function callable from its string name. Then we can call it with the corresponding
    // arguments.
    const function_response = tool_params.map(window[call.name]);
    console.log("-> " + function_response);

    return function_response
}

for (const tool_call of tool_calls) {
    var tool_response = tool_call.apply(applyToolCall);

    messages.push(
        {
            role: "tool",
            tool_call_id: tool_call.id,
            content: tool_response
        }
    );
}

Vea la respuesta del modelo:

var result = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        tools: tools,
    }
});

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido (versión preliminar) detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en indicaciones de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

try {
    var messages = [
        { role: "system", content: "You are an AI assistant that helps people find information." },
        { role: "user", content: "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills." },
    ];

    var response = await client.path("/chat/completions").post({
        body: {
            messages: messages,
        }
    });

    console.log(response.body.choices[0].message.content);
}
catch (error) {
    if (error.status_code == 400) {
        var response = JSON.parse(error.response._content);
        if (response.error) {
            console.log(`Your request triggered an ${response.error.code} error:\n\t ${response.error.message}`);
        }
        else
        {
            throw error;
        }
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat de Cohere Command

Los modelos de chat de Cohere Command incluyen los siguientes modelos:

Cohere Command R+ 08-2024

Comando R+ 08-2024 es un modelo de lenguaje grande generativo optimizado para varios casos de uso, incluido el razonamiento, el resumen y la respuesta a preguntas.

• Arquitectura de modelos: Command R+ 08-2024 es un modelo de lenguaje de entrada automática que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ 08-2024 para los flujos de trabajo que se basan en la compleja funcionalidad de generación aumentada de recuperación (RAG), uso de herramientas de varios pasos (agentes) y salidas estructuradas.

Están disponibles los siguientes modelos:

• Cohere-command-r-plus-08-2024

Cohere Command R 08-2024

Command R 08-2024 es un modelo de lenguaje grande optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R 08-2024 es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Están disponibles los siguientes modelos:

• Cohere-command-r-08-2024

Cohere Command R+

Command R+ es un modelo de lenguaje a gran escala generativo, optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R+ es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ para esos flujos de trabajo que se basan en la funcionalidad de generación aumentada de recuperación compleja (RAG) y el uso de herramientas de varios pasos (agentes).

Están disponibles los siguientes modelos:

• Cohere-command-r-plus

Cohere Command R

Command R es un gran modelo de lenguaje optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R admite una longitud de contexto de 128 000.

Command R es excelente para la generación aumentada de recuperación más sencilla (RAG) y las tareas de uso de herramientas de un solo paso. También es perfecto para usar en aplicaciones donde el precio es una consideración importante.

Están disponibles los siguientes modelos:

• Cohere-command-r

Sugerencia

Además, Cohere admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte documentación de Cohere o visite la sección ejemplos de inferencia para ver ejemplos de código.

Requisitos previos

Para usar los modelos de chat de Cohere Command con Azure Machine Learning, es preciso cumplir los siguientes requisitos previos:

Implementación de un modelo

Implementación en API sin servidor

Los modelos de chat de Cohere Command se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Inteligencia artificial de Estudio de Azure Machine Learning o, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete Azure.AI.Inference de NuGet. Para instalar este paquete, necesita los siguientes requisitos previos:

• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale la biblioteca de inferencia de Azure AI con el siguiente comando:

dotnet add package Azure.AI.Inference --prerelease

También puede autenticarse con el Microsoft Entra ID (anteriormente Azure Active Directory). Para usar proveedores de credenciales proporcionados con el SDK de Azure, instale el paquete de Azure.Identity :

dotnet add package Azure.Identity

Importe los siguientes espacios de nombres:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

En este ejemplo también se usan los siguientes espacios de nombres, pero es posible que no siempre los necesite:

using System.Text.Json;
using System.Text.Json.Serialization;
using System.Reflection;

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia del modelo de Azure AI permite "hablar" con la mayoría de los modelos implementados en Azure Machine Learning con el mismo código y estructura, incluidos los modelos de chat de Cohere Command.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

Response<ModelInfo> modelInfo = client.GetModelInfo();

La respuesta es la siguiente:

Console.WriteLine($"Model name: {modelInfo.Value.ModelName}");
Console.WriteLine($"Model type: {modelInfo.Value.ModelType}");
Console.WriteLine($"Model provider name: {modelInfo.Value.ModelProviderName}");

Model name: Cohere-command-r-plus-08-2024
Model type: chat-completions
Model provider name: Cohere

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
};

Response<ChatCompletions> response = client.Complete(requestOptions);

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
Console.WriteLine($"Model: {response.Value.Model}");
Console.WriteLine("Usage:");
Console.WriteLine($"\tPrompt tokens: {response.Value.Usage.PromptTokens}");
Console.WriteLine($"\tTotal tokens: {response.Value.Usage.TotalTokens}");
Console.WriteLine($"\tCompletion tokens: {response.Value.Usage.CompletionTokens}");

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Cohere-command-r-plus-08-2024
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

static async Task StreamMessageAsync(ChatCompletionsClient client)
{
    ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are a helpful assistant."),
            new ChatRequestUserMessage("How many languages are in the world? Write an essay about it.")
        },
        MaxTokens=4096
    };

    StreamingResponse<StreamingChatCompletionsUpdate> streamResponse = await client.CompleteStreamingAsync(requestOptions);

    await PrintStream(streamResponse);
}

Para transmitir finalizaciones, use CompleteStreamingAsync método al llamar al modelo. Observe que en este ejemplo, la llamada se ajusta en un método asincrónico.

Para visualizar la salida, defina un método asincrónico para imprimir la secuencia en la consola.

static async Task PrintStream(StreamingResponse<StreamingChatCompletionsUpdate> response)
{
    await foreach (StreamingChatCompletionsUpdate chatUpdate in response)
    {
        if (chatUpdate.Role.HasValue)
        {
            Console.Write($"{chatUpdate.Role.Value.ToString().ToUpperInvariant()}: ");
        }
        if (!string.IsNullOrEmpty(chatUpdate.ContentUpdate))
        {
            Console.Write(chatUpdate.ContentUpdate);
        }
    }
}

Puede visualizar cómo el streaming genera contenido:

StreamMessageAsync(client).GetAwaiter().GetResult();

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    PresencePenalty = 0.1f,
    FrequencyPenalty = 0.8f,
    MaxTokens = 2048,
    StopSequences = { "<|endoftext|>" },
    Temperature = 0,
    NucleusSamplingFactor = 1,
    ResponseFormat = new ChatCompletionsResponseFormatText()
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat de comandos de Cohere pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage(
            "You are a helpful assistant that always generate responses in JSON format, " +
            "using. the following format: { \"answer\": \"response\" }."
        ),
        new ChatRequestUserMessage(
            "How many languages are in the world?"
        )
    },
    ResponseFormat = new ChatCompletionsResponseFormatJSON()
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    AdditionalProperties = { { "logprobs", BinaryData.FromString("true") } },
};

response = client.Complete(requestOptions, extraParams: ExtraParameters.PassThrough);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Uso de herramientas

El modelo de chat de Cohere Command admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

FunctionDefinition flightInfoFunction = new FunctionDefinition("getFlightInfo")
{
    Description = "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
    Parameters = BinaryData.FromObjectAsJson(new
    {
        Type = "object",
        Properties = new
        {
            origin_city = new
            {
                Type = "string",
                Description = "The name of the city where the flight originates"
            },
            destination_city = new
            {
                Type = "string",
                Description = "The flight destination city"
            }
        }
    },
        new JsonSerializerOptions() { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }
    )
};

ChatCompletionsFunctionToolDefinition getFlightTool = new ChatCompletionsFunctionToolDefinition(flightInfoFunction);

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

static string getFlightInfo(string loc_origin, string loc_destination)
{
    return JsonSerializer.Serialize(new
    {
        info = $"There are no flights available from {loc_origin} to {loc_destination}. You " +
        "should take a train, specially if it helps to reduce CO2 emissions."
    });
}

Nota:

Cohere-command-r-plus-08-2024, Cohere-command-r-08-2024, Cohere-command-r-plus y Cohere-command-r requieren que las respuestas de una herramienta sean un contenido JSON válido con formato de cadena. Al construir mensajes de tipo Tool, asegúrese de que la respuesta es una cadena JSON válida.

Pida al modelo que reserve vuelos con la ayuda de esta función:

var chatHistory = new List<ChatRequestMessage>(){
        new ChatRequestSystemMessage(
            "You are a helpful assistant that help users to find information about traveling, " +
            "how to get to places and the different transportations options. You care about the" +
            "environment and you always have that in mind when answering inqueries."
        ),
        new ChatRequestUserMessage("When is the next flight from Miami to Seattle?")
    };

requestOptions = new ChatCompletionsOptions(chatHistory);
requestOptions.Tools.Add(getFlightTool);
requestOptions.ToolChoice = ChatCompletionsToolChoice.Auto;

response = client.Complete(requestOptions);

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

var responseMenssage = response.Value.Choices[0].Message;
var toolsCall = responseMenssage.ToolCalls;

Console.WriteLine($"Finish reason: {response.Value.Choices[0].FinishReason}");
Console.WriteLine($"Tool call: {toolsCall[0].Id}");

Para continuar, anexe este mensaje al historial de chats:

requestOptions.Messages.Add(new ChatRequestAssistantMessage(response.Value.Choices[0].Message));

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

foreach (ChatCompletionsToolCall tool in toolsCall)
{
    if (tool is ChatCompletionsFunctionToolCall functionTool)
    {
        // Get the tool details:
        string callId = functionTool.Id;
        string toolName = functionTool.Name;
        string toolArgumentsString = functionTool.Arguments;
        Dictionary<string, object> toolArguments = JsonSerializer.Deserialize<Dictionary<string, object>>(toolArgumentsString);

        // Here you have to call the function defined. In this particular example we use 
        // reflection to find the method we definied before in an static class called 
        // `ChatCompletionsExamples`. Using reflection allows us to call a function 
        // by string name. Notice that this is just done for demonstration purposes as a 
        // simple way to get the function callable from its string name. Then we can call 
        // it with the corresponding arguments.

        var flags = BindingFlags.Instance | BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Static;
        string toolResponse = (string)typeof(ChatCompletionsExamples).GetMethod(toolName, flags).Invoke(null, toolArguments.Values.Cast<object>().ToArray());

        Console.WriteLine("->", toolResponse);
        requestOptions.Messages.Add(new ChatRequestToolMessage(toolResponse, callId));
    }
    else
        throw new Exception("Unsupported tool type");
}

Vea la respuesta del modelo:

response = client.Complete(requestOptions);

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido (versión preliminar) detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en indicaciones de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

try
{
    requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are an AI assistant that helps people find information."),
            new ChatRequestUserMessage(
                "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
            ),
        },
    };

    response = client.Complete(requestOptions);
    Console.WriteLine(response.Value.Choices[0].Message.Content);
}
catch (RequestFailedException ex)
{
    if (ex.ErrorCode == "content_filter")
    {
        Console.WriteLine($"Your query has trigger Azure Content Safety: {ex.Message}");
    }
    else
    {
        throw;
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat de Cohere Command

Los modelos de chat de Cohere Command incluyen los siguientes modelos:

Cohere Command R+ 08-2024

Comando R+ 08-2024 es un modelo de lenguaje grande generativo optimizado para varios casos de uso, incluido el razonamiento, el resumen y la respuesta a preguntas.

• Arquitectura de modelos: Command R+ 08-2024 es un modelo de lenguaje de entrada automática que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ 08-2024 para los flujos de trabajo que se basan en la compleja funcionalidad de generación aumentada de recuperación (RAG), uso de herramientas de varios pasos (agentes) y salidas estructuradas.

Están disponibles los siguientes modelos:

• Cohere-command-r-plus-08-2024

Cohere Command R 08-2024

Command R 08-2024 es un modelo de lenguaje grande optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R 08-2024 es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R 08-2024 admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Están disponibles los siguientes modelos:

• Cohere-command-r-08-2024

Cohere Command R+

Command R+ es un modelo de lenguaje a gran escala generativo, optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R+ es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R+ admite una longitud de contexto de 128 000.
• Entrada: solo texto.
• Salida: solo texto.

Se recomienda usar Command R+ para esos flujos de trabajo que se basan en la funcionalidad de generación aumentada de recuperación compleja (RAG) y el uso de herramientas de varios pasos (agentes).

Están disponibles los siguientes modelos:

• Cohere-command-r-plus

Cohere Command R

Command R es un gran modelo de lenguaje optimizado para varios casos de uso, como razonamiento, resumen y respuesta a preguntas.

• Arquitectura de modelos: Command R es un modelo de lenguaje autorregresivo que usa una arquitectura de transformador optimizada. Después del entrenamiento previo, el modelo usa el ajuste supervisado (SFT) y el entrenamiento de preferencias para alinear el comportamiento del modelo con las preferencias humanas para la utilidad y la seguridad.
• Idiomas cubiertos: el modelo está optimizado para funcionar correctamente en los siguientes idiomas: inglés, francés, español, italiano, alemán, portugués brasileño, japonés, coreano, chino simplificado y árabe.
• Entre los datos de entrenamiento previo se incluyen también los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, neerlandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo, persa.
• Longitud del contexto: Command R admite una longitud de contexto de 128 000.

Command R es excelente para la generación aumentada de recuperación más sencilla (RAG) y las tareas de uso de herramientas de un solo paso. También es perfecto para usar en aplicaciones donde el precio es una consideración importante.

Están disponibles los siguientes modelos:

• Cohere-command-r

Sugerencia

Además, Cohere admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte documentación de Cohere o visite la sección ejemplos de inferencia para ver ejemplos de código.

Requisitos previos

Para usar los modelos de chat de Cohere Command con Azure Machine Learning, es preciso cumplir los siguientes requisitos previos:

Implementación de un modelo

Implementación en API sin servidor

Los modelos de chat de Cohere Command se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Inteligencia artificial de Estudio de Azure Machine Learning o, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

Un cliente REST

Los modelos implementados con la API de inferencia de modelos de Azure AI pueden consumirse usando cualquier cliente REST. Para usar el cliente REST, necesita los siguientes requisitos previos:

• Para construir las solicitudes, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name`` is your unique model deployment host name and your-azure-region`` es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia del modelo de Azure AI permite "hablar" con la mayoría de los modelos implementados en Azure Machine Learning con el mismo código y estructura, incluidos los modelos de chat de Cohere Command.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

GET /info HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

La respuesta es la siguiente:

{
    "model_name": "Cohere-command-r-plus-08-2024",
    "model_type": "chat-completions",
    "model_provider_name": "Cohere"
}

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ]
}

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726686,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "stream": true,
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 2048
}

Puede visualizar cómo el streaming genera contenido:

{
    "id": "23b54589eba14564ad8a2e6978775a39",
    "object": "chat.completion.chunk",
    "created": 1718726371,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "delta": {
                "role": "assistant",
                "content": ""
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

El último mensaje de la secuencia ha establecido finish_reason, lo que indica el motivo para que se detenga el proceso de generación.

{
    "id": "23b54589eba14564ad8a2e6978775a39",
    "object": "chat.completion.chunk",
    "created": 1718726371,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "delta": {
                "content": ""
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "presence_penalty": 0.1,
    "frequency_penalty": 0.8,
    "max_tokens": 2048,
    "stop": ["<|endoftext|>"],
    "temperature" :0,
    "top_p": 1,
    "response_format": { "type": "text" }
}

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726686,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat de comandos de Cohere pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that always generate responses in JSON format, using the following format: { \"answer\": \"response\" }"
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "response_format": { "type": "json_object" }
}

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718727522,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "{\"answer\": \"There are approximately 7,117 living languages in the world today, according to the latest estimates. However, this number can vary as some languages become extinct and others are newly discovered or classified.\"}",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 39,
        "total_tokens": 87,
        "completion_tokens": 48
    }
}

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

POST /chat/completions HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "logprobs": true
}

Uso de herramientas

El modelo de chat de Cohere Command admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

{
    "type": "function",
    "function": {
        "name": "get_flight_info",
        "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
        "parameters": {
            "type": "object",
            "properties": {
                "origin_city": {
                    "type": "string",
                    "description": "The name of the city where the flight originates"
                },
                "destination_city": {
                    "type": "string",
                    "description": "The flight destination city"
                }
            },
            "required": [
                "origin_city",
                "destination_city"
            ]
        }
    }
}

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

Nota:

Cohere-command-r-plus-08-2024, Cohere-command-r-08-2024, Cohere-command-r-plus y Cohere-command-r requieren que las respuestas de una herramienta sean un contenido JSON válido con formato de cadena. Al construir mensajes de tipo Tool, asegúrese de que la respuesta es una cadena JSON válida.

Pida al modelo que reserve vuelos con la ayuda de esta función:

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that help users to find information about traveling, how to get to places and the different transportations options. You care about the environment and you always have that in mind when answering inqueries"
        },
        {
            "role": "user",
            "content": "When is the next flight from Miami to Seattle?"
        }
    ],
    "tool_choice": "auto",
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "get_flight_info",
                "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "origin_city": {
                            "type": "string",
                            "description": "The name of the city where the flight originates"
                        },
                        "destination_city": {
                            "type": "string",
                            "description": "The flight destination city"
                        }
                    },
                    "required": [
                        "origin_city",
                        "destination_city"
                    ]
                }
            }
        }
    ]
}

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726007,
    "model": "Cohere-command-r-plus-08-2024",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "",
                "tool_calls": [
                    {
                        "id": "abc0dF1gh",
                        "type": "function",
                        "function": {
                            "name": "get_flight_info",
                            "arguments": "{\"origin_city\": \"Miami\", \"destination_city\": \"Seattle\"}",
                            "call_id": null
                        }
                    }
                ]
            },
            "finish_reason": "tool_calls",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 190,
        "total_tokens": 226,
        "completion_tokens": 36
    }
}

Para continuar, anexe este mensaje al historial de chats:

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

Vea la respuesta del modelo:

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that help users to find information about traveling, how to get to places and the different transportations options. You care about the environment and you always have that in mind when answering inqueries"
        },
        {
            "role": "user",
            "content": "When is the next flight from Miami to Seattle?"
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": "abc0DeFgH",
                    "type": "function",
                    "function": {
                        "name": "get_flight_info",
                        "arguments": "{\"origin_city\": \"Miami\", \"destination_city\": \"Seattle\"}",
                        "call_id": null
                    }
                }
            ]
        },
        {
            "role": "tool",
            "content": "{ \"info\": \"There are no flights available from Miami to Seattle. You should take a train, specially if it helps to reduce CO2 emissions.\" }",
            "tool_call_id": "abc0DeFgH" 
        }
    ],
    "tool_choice": "auto",
    "tools": [
        {
            "type": "function",
            "function": {
            "name": "get_flight_info",
            "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
            "parameters":{
                "type": "object",
                "properties": {
                    "origin_city": {
                        "type": "string",
                        "description": "The name of the city where the flight originates"
                    },
                    "destination_city": {
                        "type": "string",
                        "description": "The flight destination city"
                    }
                },
                "required": ["origin_city", "destination_city"]
            }
            }
        }
    ]
}

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido (versión preliminar) detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en indicaciones de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

{
    "messages": [
        {
            "role": "system",
            "content": "You are an AI assistant that helps people find information."
        },
                {
            "role": "user",
            "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
        }
    ]
}

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Microsoft's content management policy. Please modify your prompt and retry.",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Más ejemplos de inferencia

Para ver más ejemplos de cómo usar modelos de Cohere, consulte los ejemplos y tutoriales siguientes:

Descripción	Idioma	Muestra
Solicitudes web	Bash	Comando-R - Comando-R+
Paquete de inferencia de Azure AI para JavaScript	JavaScript	Vínculo
Paquete de inferencia de Azure AI para Python	Python	Vínculo
SDK de OpenAI (experimental)	Python	Vínculo
LangChain	Python	Vínculo
SDK de Cohere	Python	Vínculo
SDK de LiteLLM	Python	Vínculo

Generación aumentada de recuperación (RAG) y ejemplos de uso de herramientas

Descripción	Paquetes	Ejemplo
Creación de un índice de vectores de búsqueda de similitud de IA de Facebook local (FAISS), mediante incrustaciones de Cohere: Langchain	langchain, langchain_cohere	cohere_faiss_langchain_embed.ipynb
Uso de Cohere Command R/R+ para responder preguntas de datos en el índice de vectores de FAISS local: Langchain	langchain, langchain_cohere	command_faiss_langchain.ipynb
Uso de Cohere Command R/R+ para responder preguntas de datos en el índice de vectores de búsqueda de IA: Langchain	langchain, langchain_cohere	cohere-aisearch-langchain-rag.ipynb
Uso de Cohere Command R/R+ para responder preguntas de datos en el índice de vectores de búsqueda de IA: SDK de Cohere	cohere, azure_search_documents	cohere-aisearch-rag.ipynb
Llamada a herramientas o funciones de Command R+, mediante LangChain	cohere, langchain, langchain_cohere	command_tools-langchain.ipynb

Consideraciones de costo y cuota para los modelos de Cohere implementados como puntos de conexión de API sin servidor

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por proyecto. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Los modelos de Cohere implementados como API sin servidor los ofrece Cohere a través de Azure Marketplace y se integran en Estudio de Azure Machine Learning. Puedes encontrar los precios de Azure Marketplace al implementar modelos.

Cada vez que un proyecto se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia; sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

Contenido relacionado

• API de inferencia de modelos de Azure AI
• Implementación de modelos como API sin servidor
• Disponibilidad de regiones para modelos en puntos de conexión de API sin servidor
• Planear y administrar los costos de Inteligencia artificial de Azure Studio