Så här spårar du ditt program med Azure AI Inference SDK

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

I den här artikeln får du lära dig hur du spårar ditt program med Azure AI Inference SDK med ditt val mellan att använda Python, JavaScript eller C#. Azure AI Inference-klientbiblioteket ger stöd för spårning med OpenTelemetry.

Aktivera spårning i ditt program

Förutsättningar

• En Azure-prenumeration.
• Ett Azure AI-projekt finns i Skapa ett projekt i Azure AI Foundry-portalen.
• En AI-modell som stöder Azure AI-modellinferens-API :et som distribueras via Azure AI Foundry.
• Om du använder Python behöver du Python 3.8 eller senare installerat, inklusive pip.
• Om du använder JavaScript är de miljöer som stöds LTS-versioner av Node.js.

Installation

Python

Installera paketet azure-ai-inference med hjälp av pakethanteraren, till exempel pip:

  pip install azure-ai-inference[opentelemetry] 

Installera plugin-programmet Azure Core OpenTelemetry Tracing, OpenTelemetry och OTLP-exportören för att skicka telemetri till din observerbarhetsserverdel. Om du vill installera nödvändiga paket för Python använder du följande pip-kommandon:

pip install opentelemetry 

pip install opentelemetry-exporter-otlp 

Mer information om SDK för Azure AI-slutsatsdragning för Python och observerbarhet finns i Spårning via Slutsatsdragnings-SDK för Python.

JavaScript

Installera paketet @azure-rest/ai-inference för JavaScript med npm:

    npm install @azure-rest/ai-inference

Mer information om Azure AI Inference SDK för JavaScript och observerbarhet finns i Spåra via Slutsatsdragnings-SDK för JavaScript.

C#

Installera Azure AI Inference-klientbiblioteket för .NET med NuGet:

    dotnet add package Azure.AI.Inference --prerelease

Mer information om SDK för Azure AI-slutsatsdragning för C# och observerbarhet finns i Spårning via Slutsatsdragnings-SDK för C#.

Mer information finns i referensen för slutsatsdragnings-SDK.

Konfiguration

Python

Du måste lägga till följande konfigurationsinställningar enligt ditt användningsfall:

• Om du vill samla in meddelande- och slutförandeinnehåll anger du AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED miljövariabeln till true (skiftlägesokänslig). Som standard registreras inte frågor, slutföranden, funktionsnamn, parametrar eller utdata.

• Om du vill aktivera Azure SDK-spårning anger du AZURE_SDK_TRACING_IMPLEMENTATION miljövariabeln till opentelemetry. Du kan också konfigurera den i koden med följande kodfragment:

  from azure.core.settings import settings 
  
  settings.tracing_implementation = "opentelemetry" 
  

  Mer information finns i Azure Core Tracing OpenTelemetry-klientbiblioteket för Python.

JavaScript

Instrumentation stöds endast för slutförande av chatt utan direktuppspelning. Om du vill aktivera instrumentation måste du registrera exportörer. Följande är ett exempel på hur du lägger till en konsolexportör.

Konsolexportör:

import { ConsoleSpanExporter, NodeTracerProvider, SimpleSpanProcessor } from "@opentelemetry/sdk-trace-node"; 

const provider = new NodeTracerProvider(); 

provider.addSpanProcessor(new SimpleSpanProcessor(new ConsoleSpanExporter())); 

provider.register(); 

C#

Distribuerad spårning och mått med OpenTelemetry stöds i Azure AI-slutsatsdragning i experimentellt läge och kan aktiveras genom något av följande steg:

• AZURE_EXPERIMENTAL_ENABLE_ACTIVITY_SOURCE Ange miljövariabeln till true.
• Ange kontextväxlingen Azure.Experimental.EnableActivitySource till true i programkoden.

Aktivera instrumentering

Python

Det sista steget är att aktivera Azure AI-inferensinstrumentation med följande kodfragment:

from azure.ai.inference.tracing import AIInferenceInstrumentor 

# Instrument AI Inference API 

AIInferenceInstrumentor().instrument() 

Du kan också ta bort instrumenteringen av Azure AI-inferens-API:et med hjälp av anropet uninstrument. Efter det här anropet genereras inte längre spårningarna av Azure AI-slutsatsdragnings-API:et förrän instrument anropas igen:

AIInferenceInstrumentor().uninstrument() 

JavaScript

Om du vill använda instrumentation för Azure SDK måste du registrera den innan du importerar eventuella beroenden från @azure/core-tracing, till exempel @azure-rest/ai-inference.

import { registerInstrumentations } from "@opentelemetry/instrumentation"; 

import { createAzureSdkInstrumentation } from "@azure/opentelemetry-instrumentation-azure-sdk"; 


registerInstrumentations({ 

  instrumentations: [createAzureSdkInstrumentation()], 

}); 

import ModelClient from "@azure-rest/ai-inference"; 

När du gör ett anrop för att chatten ska slutföras måste du inkludera tracingOptions med den aktiva spårningskontexten:

import { context } from "@opentelemetry/api"; 

client.path("/chat/completions").post({ 

      body: {...}, 

      tracingOptions: { tracingContext: context.active() } 

}); 

C#

Så här konfigurerar du OpenTelemetry och aktiverar Azure AI-slutsatsdragning:

1. Installera OpenTelemetry-paket: Installera följande beroenden för HTTP-spårnings- och måttinstrumentation samt konsol- och OTLP-exportörer :

      dotnet add package OpenTelemetry.Instrumentation.Http 
   
      dotnet add package OpenTelemetry.Exporter.Console 
   
      dotnet add package OpenTelemetry.Exporter.OpenTelemetryProtocol 
   

2. Aktivera experimentell Azure SDK-observerbarhet: Ställ in kontextväxlingen för att aktivera experimentell Azure SDK-observerbarhet:

      AppContext.SetSwitch("Azure.Experimental.EnableActivitySource", true); 
   

3. Aktivera innehållsinspelning: Som standard samlar instrumentation in chattmeddelanden utan innehåll. Om du vill aktivera innehållsinspelning anger du följande kontextväxel:

    AppContext.SetSwitch("Azure.Experimental.TraceGenAIMessageContent", true);
   

4. Konfigurera spårningsprovider: Konfigurera spårningsprovidern för att exportera spårningar och mått till konsolen och till det lokala OTLP-målet efter behov.

Spåra dina egna funktioner

Om du vill spåra dina egna anpassade funktioner kan du använda OpenTelemetry. Du måste instrumentera koden med OpenTelemetry SDK. Detta innebär att du konfigurerar en spårningsprovider och skapar intervall runt den kod som du vill spåra. Varje intervall representerar en arbetsenhet och kan kapslas för att bilda ett spårningsträd. Du kan lägga till attribut i intervall för att utöka spårningsdata med ytterligare kontext. När du har instrumenterat konfigurerar du en exportör för att skicka spårningsdata till en serverdel för analys och visualisering. Detaljerade instruktioner och avancerad användning finns i dokumentationen om OpenTelemetry. Detta hjälper dig att övervaka prestanda för dina anpassade funktioner och få insikter om deras körning.

Bifoga användarfeedback till spårningar

Om du vill koppla användarfeedback till spårningar och visualisera dem i Azure AI Foundry-portalen med hjälp av OpenTelemetrys semantiska konventioner kan du instrumentera ditt program som aktiverar spårning och loggning av användarfeedback. Genom att korrelera feedbackspårningar med respektive spårning av chattbegäran med hjälp av svars-ID:t kan du använda visa och hantera dessa spårningar i Azure AI Foundry-portalen. OpenTelemetrys specifikation möjliggör standardiserade och berikade spårningsdata, som kan analyseras i Azure AI Foundry-portalen för prestandaoptimering och insikter om användarupplevelsen. Den här metoden hjälper dig att använda den fulla kraften i OpenTelemetry för bättre observerbarhet i dina program.

Relaterat innehåll

• Python-exempel som innehåller fullständigt körbar Python-kod för spårning med synkrona och asynkrona klienter.
• JavaScript-exempel som innehåller fullständigt körbar JavaScript-kod för spårning med synkrona och asynkrona klienter.
• C#-exempel som innehåller fullständigt körbar C#-kod för slutsatsdragning med synkrona och asynkrona metoder.