Trasování aplikace pomocí sady Azure AI Inference SDK

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

V tomto článku se dozvíte, jak trasovat aplikaci pomocí sady Azure AI Inference SDK s výběrem mezi použitím Pythonu, JavaScriptu nebo jazyka C#. Klientská knihovna Pro odvozování Azure AI poskytuje podporu trasování pomocí OpenTelemetry.

Povolení trasování v aplikaci

Požadavky

• Předplatné Azure.
• Projekt Azure AI najdete v tématu Vytvoření projektu na portálu Azure AI Foundry.
• Model AI podporující rozhraní API pro odvozování modelů Azure AI nasazené prostřednictvím Azure AI Foundry
• Pokud používáte Python, potřebujete nainstalovaný Python 3.8 nebo novější, včetně pipu.
• Pokud používáte JavaScript, podporovaná prostředí jsou verze LTS Node.js.

Instalace

Python

Nainstalujte balíček azure-ai-inference pomocí správce balíčků, například pip:

  pip install azure-ai-inference[opentelemetry] 

Nainstalujte modul plug-in Azure Core OpenTelemetry Tracing, OpenTelemetry a exportér OTLP pro odesílání telemetrie do back-endu pozorovatelnosti. K instalaci potřebných balíčků pro Python použijte následující příkazy pip:

pip install opentelemetry 

pip install opentelemetry-exporter-otlp 

Další informace o sadě Azure AI Inference SDK pro Python a pozorovatelnosti najdete v tématu Trasování prostřednictvím sady SDK pro odvozování pro Python.

JavaScript

Nainstalujte balíček @azure-rest/ai-inference pro JavaScript pomocí npm:

    npm install @azure-rest/ai-inference

Další informace o sadě Azure AI Inference SDK pro JavaScript a pozorovatelnost najdete v tématu Trasování prostřednictvím sady SDK pro odvozování pro JavaScript.

C#

Nainstalujte klientskou knihovnu azure AI Inference pro .NET pomocí NuGetu:

    dotnet add package Azure.AI.Inference --prerelease

Další informace o sadě Azure AI Inference SDK pro C# a pozorovatelnosti najdete v trasování prostřednictvím sady SDK pro odvozování pro jazyk C#.

Další informace najdete v referenčních informacích k sadě SDK pro odvození.

Konfigurace

Python

Podle případu použití musíte přidat následující nastavení konfigurace:

• Pokud chcete zachytit obsah výzvy a dokončení, nastavte AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED proměnnou prostředí na true (nerozlišují se malá a velká písmena). Ve výchozím nastavení se výzvy, dokončování, názvy funkcí, parametry nebo výstupy nezaznamenávají.

• Pokud chcete povolit trasování sady Azure SDK, nastavte proměnnou AZURE_SDK_TRACING_IMPLEMENTATION prostředí na opentelemetry. Alternativně ho můžete nakonfigurovat v kódu pomocí následujícího fragmentu kódu:

  from azure.core.settings import settings 
  
  settings.tracing_implementation = "opentelemetry" 
  

  Další informace najdete v klientské knihovně OpenTelemetry pro Azure Core Tracing pro Python.

JavaScript

Instrumentace se podporuje jenom pro dokončování chatu bez streamování. Pokud chcete povolit instrumentaci, musíte zaregistrovat vývozce nebo vývozce. Následuje příklad přidání vývozce konzoly.

Exportér konzoly:

import { ConsoleSpanExporter, NodeTracerProvider, SimpleSpanProcessor } from "@opentelemetry/sdk-trace-node"; 

const provider = new NodeTracerProvider(); 

provider.addSpanProcessor(new SimpleSpanProcessor(new ConsoleSpanExporter())); 

provider.register(); 

C#

Distribuované trasování a metriky s OpenTelemetry se podporují v odvozování AI v experimentálním režimu a je možné je povolit některým z těchto kroků:

• Nastavte proměnnou AZURE_EXPERIMENTAL_ENABLE_ACTIVITY_SOURCE prostředí na true.
• Nastavte kontextový Azure.Experimental.EnableActivitySource přepínač na true v kódu aplikace.

Povolení instrumentace

Python

Posledním krokem je povolení instrumentace odvozování azure AI s následujícím fragmentem kódu:

from azure.ai.inference.tracing import AIInferenceInstrumentor 

# Instrument AI Inference API 

AIInferenceInstrumentor().instrument() 

Pomocí volání zrušení registrace je také možné zrušit odvozování rozhraní API pro odvozování Azure AI. Po tomto volání se trasování už nebude generovat rozhraním API pro odvozování AI Azure, dokud se nástroj znovu nevolá:

AIInferenceInstrumentor().uninstrument() 

JavaScript

Pokud chcete použít instrumentaci pro sadu Azure SDK, musíte ji před importem jakýchkoli závislostí z @azure/core-tracing, například @azure-rest/ai-inference.

import { registerInstrumentations } from "@opentelemetry/instrumentation"; 

import { createAzureSdkInstrumentation } from "@azure/opentelemetry-instrumentation-azure-sdk"; 


registerInstrumentations({ 

  instrumentations: [createAzureSdkInstrumentation()], 

}); 

import ModelClient from "@azure-rest/ai-inference"; 

Při volání na dokončení chatu musíte zahrnout trasováníOptions s aktivním kontextem trasování:

import { context } from "@opentelemetry/api"; 

client.path("/chat/completions").post({ 

      body: {...}, 

      tracingOptions: { tracingContext: context.active() } 

}); 

C#

Pokud chcete nakonfigurovat OpenTelemetry a povolit trasování odvozování Azure AI, postupujte takto:

1. Nainstalujte balíčky OpenTelemetry: Nainstalujte následující závislosti pro instrumentaci trasování a metrik HTTP a také konzoly a vývozce OTLP :

      dotnet add package OpenTelemetry.Instrumentation.Http 
   
      dotnet add package OpenTelemetry.Exporter.Console 
   
      dotnet add package OpenTelemetry.Exporter.OpenTelemetryProtocol 
   

2. Povolení experimentální pozorovatelnosti sady Azure SDK: Nastavte kontextový přepínač pro povolení experimentální pozorovatelnosti sady Azure SDK:

      AppContext.SetSwitch("Azure.Experimental.EnableActivitySource", true); 
   

3. Povolit záznam obsahu: Instrumentace ve výchozím nastavení zaznamenává chatové zprávy bez obsahu. Pokud chcete povolit záznam obsahu, nastavte následující kontextový přepínač:

    AppContext.SetSwitch("Azure.Experimental.TraceGenAIMessageContent", true);
   

4. Konfigurace zprostředkovatele trasování: Podle potřeby nakonfigurujte zprostředkovatele trasování a metrik do konzoly a do místního cíle OTLP.

Trasování vlastních funkcí

Pokud chcete sledovat vlastní funkce, můžete využít OpenTelemetry, budete muset instrumentovat kód pomocí sady OpenTelemetry SDK. To zahrnuje nastavení zprostředkovatele trasování a vytvoření rozsahu kolem kódu, který chcete trasovat. Každé rozpětí představuje jednotku práce a lze ji vnořit a vytvořit tak trasovací strom. Přidáním atributů můžete rozšířit data trasování o další kontext. Po instrumentaci nakonfigurujte vývozce, aby odeslal data trasování do back-endu pro analýzu a vizualizaci. Podrobné pokyny a pokročilé použití najdete v dokumentaci k OpenTelemetry. To vám pomůže monitorovat výkon vlastních funkcí a získat přehled o jejich provádění.

Připojení zpětné vazby uživatelů k trasování

Pokud chcete připojit zpětnou vazbu uživatelů k trasování a vizualizaci na portálu Azure AI Foundry pomocí sémantických konvencí OpenTelemetry, můžete instrumentovat aplikaci, která umožňuje trasování a protokolování zpětné vazby uživatelů. Korelací trasování zpětné vazby s příslušnými trasováním žádostí o chat pomocí ID odpovědi můžete použít zobrazení a správu těchto trasování na portálu Azure AI Foundry. Specifikace OpenTelemetry umožňuje standardizovaná a rozšířená data trasování, která je možné analyzovat na portálu Azure AI Foundry pro optimalizaci výkonu a přehledy uživatelského prostředí. Tento přístup vám pomůže využít plný výkon OpenTelemetry pro lepší pozorovatelnost ve vašich aplikacích.

Související obsah

• Ukázky Pythonu obsahující plně spustitelný kód Pythonu pro trasování s využitím synchronních a asynchronních klientů
• Ukázky JavaScriptu obsahující plně spustitelný javascriptový kód pro trasování pomocí synchronních a asynchronních klientů
• Ukázky jazyka C# obsahující plně spustitelný kód jazyka C# pro odvozování pomocí synchronních a asynchronních metod