Seguimiento de la aplicación con Azure AI Inference SDK

Importante

Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

En este artículo aprenderá a realizar un seguimiento de la aplicación con Azure AI Inference SDK con su elección entre usar Python, JavaScript o C#. La biblioteca cliente de Azure AI Inference proporciona compatibilidad con el seguimiento con OpenTelemetry.

Habilitación del seguimiento en la aplicación

Requisitos previos

• Una suscripción a Azure.
• Un proyecto de Azure AI, consulte Creación de un proyecto en el portal de Azure AI Foundry.
• Un modelo de inteligencia artificial que admite la API de inferencia del modelo de Azure AI implementado mediante Azure AI Foundry.
• Si usa Python, necesita tener instalado Python 3.8 o posterior, incluido pip.
• Si usa JavaScript, los entornos admitidos son versiones LTS de Node.js.

Instalación

Python

Instale el paquete azure-ai-inference mediante el administrador de paquetes, como pip:

  pip install azure-ai-inference[opentelemetry] 

Instale el complemento Azure Core OpenTelemetry Tracing, OpenTelemetry y el exportador de OTLP para enviar telemetría al back-end de observabilidad. Para instalar los paquetes necesarios para Python, use los siguientes comandos pip:

pip install opentelemetry 

pip install opentelemetry-exporter-otlp 

Para más información sobre Azure AI Inference SDK para Python y la observabilidad, consulte Seguimiento mediante Inference SDK para Python.

JavaScript

Instale el paquete @azure-rest/ai-inference para JavaScript mediante npm:

    npm install @azure-rest/ai-inference

Para más información sobre Azure AI Inference SDK para JavaScript y la observabilidad, consulte Seguimiento mediante Inference SDK para JavaScript.

C#

Instale la biblioteca cliente de Azure AI Inference para .NET con NuGet:

    dotnet add package Azure.AI.Inference --prerelease

Para más información sobre Azure AI Inference SDK para C# y la observabilidad, consulte Seguimiento mediante Inference SDK para C#.

Para más información, consulte la referencia de Inference SDK.

Configuración

Python

Debe agregar las siguientes opciones de configuración según el caso de uso:

• Para capturar el contenido de indicación y finalización, establezca la variable de entorno AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED en true (sin distinción entre mayúsculas y minúsculas). De forma predeterminada, las indicaciones, las finalizaciones, los nombres de función, los parámetros o las salidas no se registran.

• Para habilitar el seguimiento del SDK de Azure, establezca la variable de entorno AZURE_SDK_TRACING_IMPLEMENTATION en opentelemetry. Como alternativa, puede configurarlo en el código con el siguiente fragmento de código:

  from azure.core.settings import settings 
  
  settings.tracing_implementation = "opentelemetry" 
  

  Para más información, consulte Biblioteca cliente de Azure Core Tracing OpenTelemetry para Python.

JavaScript

La instrumentación solo se admite para la finalización de chat sin streaming. Para habilitar la instrumentación, debe registrar exportadores. A continuación se muestra un ejemplo de cómo agregar un exportador de consola.

Exportador de consola:

import { ConsoleSpanExporter, NodeTracerProvider, SimpleSpanProcessor } from "@opentelemetry/sdk-trace-node"; 

const provider = new NodeTracerProvider(); 

provider.addSpanProcessor(new SimpleSpanProcessor(new ConsoleSpanExporter())); 

provider.register(); 

C#

El seguimiento distribuido y las métricas con OpenTelemetry se admiten en Azure AI Inference en modo experimental y se podrían habilitar mediante cualquiera de estos pasos:

• Establezca la variable de entorno AZURE_EXPERIMENTAL_ENABLE_ACTIVITY_SOURCE en true.
• Establezca el modificador de contexto Azure.Experimental.EnableActivitySource en true en el código de la aplicación.

Habilitación de la instrumentación

Python

El último paso es habilitar la instrumentación de Azure AI Inference con el siguiente fragmento de código:

from azure.ai.inference.tracing import AIInferenceInstrumentor 

# Instrument AI Inference API 

AIInferenceInstrumentor().instrument() 

También es posible anular la instrumentación de Azure AI Inferencing API mediante la llamada de anulación de instrumentación. Después de esta llamada, Azure AI Inferencing API ya no emitirá los seguimientos hasta que se vuelva a llamar a la instrumentación:

AIInferenceInstrumentor().uninstrument() 

JavaScript

Para usar la instrumentación de Azure SDK, debe registrarla antes de importar las dependencias desde @azure/core-tracing, como @azure-rest/ai-inference.

import { registerInstrumentations } from "@opentelemetry/instrumentation"; 

import { createAzureSdkInstrumentation } from "@azure/opentelemetry-instrumentation-azure-sdk"; 


registerInstrumentations({ 

  instrumentations: [createAzureSdkInstrumentation()], 

}); 

import ModelClient from "@azure-rest/ai-inference"; 

Al realizar una llamada para la finalización del chat, debe incluir tracingOptions con el contexto de seguimiento activo:

import { context } from "@opentelemetry/api"; 

client.path("/chat/completions").post({ 

      body: {...}, 

      tracingOptions: { tracingContext: context.active() } 

}); 

C#

Para configurar OpenTelemetry y habilitar el seguimiento de Azure AI Inference, siga estos pasos:

1. Instalar paquetes de OpenTelemetry: instale las siguientes dependencias para la instrumentación de métricas y seguimientos HTTP, así como los exportadores de consola y OTLP:

      dotnet add package OpenTelemetry.Instrumentation.Http 
   
      dotnet add package OpenTelemetry.Exporter.Console 
   
      dotnet add package OpenTelemetry.Exporter.OpenTelemetryProtocol 
   

2. Habilitar la observabilidad experimental de Azure SDK: establezca el modificador de contexto para habilitar la observabilidad experimental de Azure SDK:

      AppContext.SetSwitch("Azure.Experimental.EnableActivitySource", true); 
   

3. Habilitar la grabación de contenido: de forma predeterminada, la instrumentación captura mensajes de chat sin contenido. Para habilitar la grabación de contenido, establezca el siguiente modificador de contexto:

    AppContext.SetSwitch("Azure.Experimental.TraceGenAIMessageContent", true);
   

4. Configurar el proveedor de seguimiento: configure el proveedor de seguimiento para exportar seguimientos y métricas a la consola y al destino OTLP local según sea necesario.

Seguimiento de sus propias funciones

Para realizar un seguimiento de sus propias funciones personalizadas, puede aprovechar OpenTelemetry; deberá instrumentar el código con el SDK de OpenTelemetry. Esto implica configurar un proveedor de seguimiento y crear intervalos alrededor del código del que desee realizar el seguimiento. Cada intervalo representa una unidad de trabajo y se puede anidar para formar un árbol de seguimiento. Puede agregar atributos a los intervalos para enriquecer los datos de seguimiento con contexto adicional. Una vez instrumentado, configure un exportador para enviar los datos de seguimiento a un back-end para su análisis y visualización. Para obtener instrucciones detalladas e información de uso avanzado, consulte la documentación de OpenTelemetry. Esto le ayudará a supervisar el rendimiento de las funciones personalizadas y a obtener información sobre su ejecución.

Adjuntar comentarios de los usuarios a seguimientos

Para adjuntar comentarios de los usuarios a los seguimientos y visualizarlos en el portal de Azure AI Foundry mediante las convenciones semánticas de OpenTelemetry, puede instrumentar la aplicación habilitando los comentarios de usuario de seguimiento y registro. Al correlacionar los seguimientos de comentarios con sus respectivos seguimientos de solicitudes de chat mediante el identificador de respuesta, puede usar, ver y administrar estos seguimientos en el portal de Azure AI Foundry. La especificación de OpenTelemetry permite datos de seguimiento estandarizados y enriquecidos, que se pueden analizar en el portal de Azure AI Foundry para obtener información sobre la optimización del rendimiento y la experiencia del usuario. Este enfoque le ayuda a usar toda la eficacia de OpenTelemetry para mejorar la observabilidad en las aplicaciones.

Contenido relacionado

• Muestras de Python que contienen código de Python totalmente ejecutable para seguimiento mediante clientes sincrónicos y asincrónicos.
• Muestras de JavaScript que contienen código de JavaScript totalmente ejecutable para seguimiento mediante clientes sincrónicos y asincrónicos.
• Muestras de C# que contienen código de C# totalmente ejecutable para realizar la inferencia mediante métodos sincrónicos y asincrónicos.