So können Sie Ihre Anwendung mit dem Azure KI Inference SDK nachverfolgen

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

In diesem Artikel erfahren Sie, wie Sie Ihre Anwendung mit dem Azure KI Inference SDK in Python, JavaScript oder C# nachverfolgen können. Die Azure KI Inference-Clientbibliothek bietet Unterstützung für die Ablaufverfolgung mit OpenTelemetry.

Aktivieren der Ablaufverfolgung in Ihrer Anwendung

Voraussetzungen

• Ein Azure-Abonnement.
• Ein Azure KI-Projekt, siehe Erstellen eines Projekts im Azure KI Foundry-Portal.
• Ein KI-Modell, das die Azure KI-Modellinferenz-API unterstützt, die über Azure KI Foundry bereitgestellt wird.
• Wenn Sie Python verwenden, benötigen Sie Python 3.8 oder höher, einschließlich pip.
• Bei Verwendung von JavaScript sind die unterstützten Umgebungen LTS-Versionen von Node.js.

Installation

Python

Installieren Sie das Paket azure-ai-inference mit Ihrem Paket-Manager, z. B. pip:

  pip install azure-ai-inference[opentelemetry] 

Installieren Sie das Azure Core OpenTelemetry Tracing-Plug-In, OpenTelemetry und den OTLP-Exporter zum Senden von Telemetrie an Ihr Einblick-Back-End. Verwenden Sie die folgenden pip-Befehle, um die erforderlichen Pakete für Python zu installieren:

pip install opentelemetry 

pip install opentelemetry-exporter-otlp 

Weitere Informationen zum Azure KI Inference SDK für Python und einen Einblick finden Sie unter Ablaufverfolgung über Inference SDK für Python.

JavaScript

Installieren Sie das Paket @azure-rest/ai-inference für JavaScript mithilfe von npm:

    npm install @azure-rest/ai-inference

Weitere Informationen zum Azure KI Inference SDK für JavaScript und einen Einblick finden Sie unter Ablaufverfolgung über Inference SDK für JavaScript.

C#

Installieren Sie die Azure KI Inference-Clientbibliothek für .NET mit NuGet:

    dotnet add package Azure.AI.Inference --prerelease

Weitere Informationen zum Azure KI Inference SDK für C# und für einen Einblick finden Sie in der Ablaufverfolgung über das Inference SDK für C#.

Weitere Informationen finden Sie in der Inference SDK-Referenz.

Konfiguration

Python

Sie müssen die folgenden Konfigurationseinstellungen gemäß Ihrem Anwendungsfall hinzufügen:

• Zum Erfassen von Prompt- und Abschlussinhalten legen Sie die Umgebungsvariable AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED auf TRU fest (Groß-/Kleinschreibung wird nicht beachtet). Standardmäßig werden Prompts, Vervollständigungen, Funktionsnamen, Parameter oder Ausgaben nicht aufgezeichnet.

• Um die Azure SDK-Ablaufverfolgung zu aktivieren, legen Sie die Umgebungsvariable AZURE_SDK_TRACING_IMPLEMENTATION auf opentelemetry fest. Alternativ können Sie sie im Code mit dem folgenden Codeschnipsel konfigurieren:

  from azure.core.settings import settings 
  
  settings.tracing_implementation = "opentelemetry" 
  

  Weitere Informationen finden Sie in der Azure Core Tracing OpenTelemetry-Clientbibliothek für Python.

JavaScript

Die Instrumentierung wird nur für den Chatabschluss ohne Streaming unterstützt. Um die Instrumentierung zu aktivieren, müssen Sie einen oder mehrere Exporter registrieren. Nachfolgend sehen Sie ein Beispiel für das Hinzufügen eines Konsolenexporters.

Konsolenexporter:

import { ConsoleSpanExporter, NodeTracerProvider, SimpleSpanProcessor } from "@opentelemetry/sdk-trace-node"; 

const provider = new NodeTracerProvider(); 

provider.addSpanProcessor(new SimpleSpanProcessor(new ConsoleSpanExporter())); 

provider.register(); 

C#

Die verteilte Ablaufverfolgung und Metriken mit OpenTelemetry werden in Azure KI Inference im experimentellen Modus unterstützt und können über eine der folgenden Schritte aktiviert werden:

• Legen Sie die Umgebungsvariable AZURE_EXPERIMENTAL_ENABLE_ACTIVITY_SOURCE auf TRUE fest.
• Legen Sie den Kontextwechsel Azure.Experimental.EnableActivitySource im Anwendungscode auf TRUE fest.

Aktivieren der Instrumentierung

Python

Der letzte Schritt besteht darin, die Azure KI Inference-Instrumentierung mit dem folgenden Codeschnipsel zu aktivieren:

from azure.ai.inference.tracing import AIInferenceInstrumentor 

# Instrument AI Inference API 

AIInferenceInstrumentor().instrument() 

Es ist auch möglich, die Instrumentierung der Azure KI Inferencing-API mithilfe des uninstrument-Aufrufs aufzuheben. Nach diesem Aufruf werden die Ablaufverfolgungen nicht mehr von der Azure KI Inferencing-API ausgegeben, bis die Instrumentierung erneut aufgerufen wird:

AIInferenceInstrumentor().uninstrument() 

JavaScript

Um die Instrumentierung für das Azure SDK zu verwenden, müssen Sie sie registrieren, bevor Sie Abhängigkeiten aus @azure/core-tracingimportieren, z. B. @azure-rest/ai-inference.

import { registerInstrumentations } from "@opentelemetry/instrumentation"; 

import { createAzureSdkInstrumentation } from "@azure/opentelemetry-instrumentation-azure-sdk"; 


registerInstrumentations({ 

  instrumentations: [createAzureSdkInstrumentation()], 

}); 

import ModelClient from "@azure-rest/ai-inference"; 

Wenn Sie einen Aufruf für den Chatabschluss tätigen, müssen Sie die tracingOptions in den aktiven Ablaufverfolgungskontext einschließen:

import { context } from "@opentelemetry/api"; 

client.path("/chat/completions").post({ 

      body: {...}, 

      tracingOptions: { tracingContext: context.active() } 

}); 

C#

Führen Sie die folgenden Schritte aus, um OpenTelemetry zu konfigurieren und die Azure KI Inference-Ablaufverfolgung zu aktivieren:

1. Installieren Sie OpenTelemetry-Pakete: Installieren Sie die folgenden Abhängigkeiten für die HTTP-Ablaufverfolgungs- und -Metrikinstrumentierung sowie Konsolen- und OTLP-Exporter:

      dotnet add package OpenTelemetry.Instrumentation.Http 
   
      dotnet add package OpenTelemetry.Exporter.Console 
   
      dotnet add package OpenTelemetry.Exporter.OpenTelemetryProtocol 
   

2. Aktivieren Sie den experimentellen Azure SDK-Einblick: Legen Sie den Kontextwechsel fest, um den experimentellen Azure SDK-Einblick zu aktivieren.

      AppContext.SetSwitch("Azure.Experimental.EnableActivitySource", true); 
   

3. Inhaltsaufzeichnung aktivieren: Standardmäßig erfasst die Instrumentierung Chatnachrichten ohne Inhalt. Um die Inhaltsaufzeichnung zu aktivieren, legen Sie den folgenden Kontextwechsel fest:

    AppContext.SetSwitch("Azure.Experimental.TraceGenAIMessageContent", true);
   

4. Konfigurieren Sie den Ablaufverfolgungsanbieter: Konfigurieren Sie den Ablaufverfolgungsanbieter, um Ablaufverfolgungen und Metriken nach Bedarf in die Konsole und an das lokale OTLP-Ziel zu exportieren.

Nachverfolgen eigener Funktionen

Um Ihre eigenen benutzerdefinierten Funktionen mit OpenTelemetry nachzuverfolgen, müssen Sie Ihren Code mit dem OpenTelemetry SDK instrumentieren. Dazu gehört das Einrichten eines Ablaufverfolgungsanbieters und das Erstellen von Spans um den Code, den Sie nachverfolgen möchten. Jeder Bereich stellt eine Arbeitseinheit dar und kann geschachtelt werden, um eine Ablaufverfolgungsstruktur zu bilden. Sie können Attribute hinzufügen, um die Ablaufverfolgungsdaten durch zusätzlichen Kontext zu erweitern. Konfigurieren Sie nach der Instrumentierung einen Exporter, um die Ablaufverfolgungsdaten zur Analyse und Visualisierung an ein Back-End zu senden. Ausführliche Anweisungen und Informationen zur erweiterten Verwendung finden Sie in der OpenTelemetry-Dokumentation. Auf diese Weise können Sie die Leistung Ihrer benutzerdefinierten Funktionen überwachen und Einblicke in ihre Ausführung gewinnen.

Anfügen von Benutzerfeedback an Ablaufverfolgungen

Um Benutzerfeedback an Ablaufverfolgungen anzufügen und sie im Azure KI Foundry-Portal mithilfe der semantischen Konventionen von OpenTelemetry zu visualisieren, können Sie Ihre Anwendung instrumentieren, um die Ablaufverfolgung und Protokollierung von Benutzerfeedback zu ermöglichen. Indem Sie Feedbackablaufverfolgungen mit ihren jeweiligen Chatanfrageablaufverfolgungen mithilfe der Antwort-ID korrelieren, können Sie diese Ablaufverfolgungen im Azure KI Foundry-Portal anzeigen und verwalten. Die Spezifikation von OpenTelemetry ermöglicht standardisierte und angereicherte Ablaufverfolgungsdaten, die im Azure KI Foundry-Portal für Leistungsoptimierung und Benutzerfunktionserkenntnisse analysiert werden können. Dieser Ansatz hilft Ihnen, die volle Leistungsfähigkeit von OpenTelemetry für einen verbesserten Einblick in Ihre Anwendungen zu nutzen.

Zugehöriger Inhalt

• Python-Beispiele mit vollständig ausgeführtem Python-Code für die Ablaufverfolgung mithilfe synchroner und asynchroner Clients
• JavaScript-Beispiele mit vollständig ausgeführtem JavaScript-Code für die Ablaufverfolgung mithilfe synchroner und asynchroner Clients
• C#-Beispiele mit vollständig ausgeführtem C#-Code für den Rückschluss mithilfe synchroner und asynchroner Methoden