Övervaka hanterade modeller med hjälp av AI Gateway-aktiverade slutsatsdragningstabeller

Viktig

Den här funktionen finns i offentlig förhandsversion.

Viktig

Den här artikeln beskriver ämnen som gäller för slutsatsdragningstabeller för externa modeller, etablerade dataflödesarbetsbelastningar eller agentmodeller. För information om anpassade modeller, se inferenstabeller för övervakning och felsökning av modeller.

Den här artikeln beskriver AI Gateway-aktiverade slutsatsdragningstabeller för övervakning av hanterade modeller. Slutsatsdragningstabellen samlar automatiskt in inkommande begäranden och utgående svar för en slutpunkt och loggar dem som en Delta-tabell i Unity Catalog. Du kan använda data i den här tabellen för att övervaka, utvärdera, jämföra och finjustera maskininlärningsmodeller.

Vad är AI Gateway-aktiverade slutsatsdragningstabeller?

AI Gateway-aktiverade slutsatsdragningstabeller förenklar övervakning och diagnostik för modeller genom att kontinuerligt logga indata och svar för begäranden (förutsägelser) från Mosaic AI Model Serving-slutpunkter och spara dem i en Delta-tabell i Unity Catalog. Du kan sedan använda alla funktioner i Databricks-plattformen, till exempel Databricks SQL-frågor och notebook-filer för att övervaka, felsöka och optimera dina modeller.

Du kan aktivera slutsatsdragningstabeller på en befintlig eller nyskapad modell som betjänar slutpunkten, och begäranden till slutpunkten loggas sedan automatiskt till en tabell i Unity Catalog.

Några vanliga program för slutsatsdragningstabeller är följande:

• Skapa en träningskorpus. Genom att sammanfoga inferenstabeller med grundsanningsetiketter kan du skapa ett träningskorpus som du kan använda för att träna om eller finjustera din modell och förbättra den. Med Databricks-jobb kan du konfigurera en kontinuerlig feedbackloop och automatisera omträningen.
• Övervaka data och modellkvalitet. Du kan kontinuerligt övervaka modellens prestanda och dataavvikelse med hjälp av Lakehouse Monitoring. Lakehouse Monitoring genererar automatiskt instrumentpaneler för data- och modellkvalitet som du kan dela med intressenter. Dessutom kan du aktivera aviseringar för att veta när du behöver träna om din modell baserat på förändringar i inkommande data eller minskningar av modellprestanda.
• Felsöka produktionsproblem. Slutsatsdragningstabeller loggar data som HTTP-statuskoder, JSON-kod för begäran och svar, modellkörningstider samt spårningsutdata under modellkörningstider. Du kan använda dessa prestandadata i felsökningssyfte. Du kan också använda historiska data i slutsatsdragningstabeller för att jämföra modellprestanda på historiska begäranden.

krav

• AI Gateway-aktiverade slutsatsdragningstabeller stöds endast för slutpunkter som använder etablerat dataflöde eller hanterar externa modeller.

• En Databricks-arbetsyta i antingen:

  • Externa modeller som stöds i regionen
  • Region som stöder provisionerad genomströmning

• För arbetsytor som har privat anslutning konfigurerad på Unity Catalog-lagringskontot följer du stegen i Konfigurera privat anslutning från serverlös beräkning.

• Databricks rekommenderar att du Aktivera förutsägande optimering för optimerad prestanda för dina slutsatsdragningstabeller.

• Unity Catalog måste vara aktiverat på arbetsytan.

• Både skaparen av slutpunkten och modifieraren måste ha Kan hantera behörighet på slutpunkten. Se åtkomstkontrollistor.

• Både skaparen av slutpunkten och modifieraren måste ha följande behörigheter i Unity Catalog:

  • USE CATALOG behörigheter för den angivna katalogen.
  • USE SCHEMA behörigheter för det angivna schemat.
  • CREATE TABLE behörigheter i schemat.

Varning

Slutsatsdragningstabellen kan sluta logga data eller skadas om du gör något av följande:

• Ändra tabellschemat.
• Ändra tabellnamnet.
• Ta bort tabellen.
• Förlora behörigheter till Unity Catalog-katalogen eller schemat.

Aktivera och inaktivera slutsatsdragningstabeller

Det här avsnittet visar hur du aktiverar eller inaktiverar slutsatsdragningstabeller med hjälp av användargränssnittet för servering. Ägaren till slutsatsdragningstabellerna är den användare som skapade slutpunkten. Alla åtkomstkontrollistor (ACL: er) i tabellen följer standardbehörigheterna för Unity-katalogen och kan ändras av tabellägaren.

Använd följande steg för att aktivera slutsatsdragningstabeller när slutpunkten skapas:

1. Klicka på Serving i Databricks Mosaic AI UI.
2. Klicka på Skapa serverslutpunkt.
3. I avsnittet AI Gateway väljer du Aktivera slutsatsdragningstabeller.

Du kan också aktivera slutsatsdragningstabeller på en befintlig slutpunkt. Så här redigerar du en befintlig slutpunktskonfiguration:

1. I avsnittet AI Gateway klickar du på Redigera AI Gateway.
2. Välj Aktivera slutsatsdragningstabeller.

Följ dessa instruktioner för att inaktivera slutsatsdragningstabeller:

1. Gå till slutpunktssidan.
2. Klicka på Redigera AI Gateway.
3. Klicka på Aktivera slutsatsdragningstabell om du vill ta bort bockmarkeringen.
4. När du är nöjd med AI Gateway-specifikationerna klickar du på Uppdatera.

Fråga efter och analysera resultat i slutsatsdragningstabellen

När dina distribuerade modeller är klara loggas alla begäranden som görs till dina modeller automatiskt i inferenstabellen, tillsammans med svaren. Du kan visa tabellen i användargränssnittet, köra frågor mot tabellen från Databricks SQL eller en notebook-fil eller köra frågor mot tabellen med hjälp av REST-API:et.

Om du vill visa tabellen i användargränssnittet: På slutpunktssidan klickar du på namnet på slutsatstabellen för att öppna tabellen i Katalogutforskaren.

Fråga tabellen från Databricks SQL eller en Databricks-notebook-fil: Du kan köra kod som liknar följande för att köra frågor mot slutsatsdragningstabellen.

SELECT * FROM <catalog>.<schema>.<payload_table>

** Om du vill koppla inferenstabellens data med information om den underliggande grundmodellen som tjänstgörs på din endpoint:** Grundmodells information samlas in i system.serving.served_entities-systemtabellen.

SELECT * FROM <catalog>.<schema>.<payload_table> payload
JOIN system.serving.served_entities se on payload.served_entity_id = se.served_entity_id

AI Gateway-aktiverat slutsatsdragningstabellschema

Slutsatsdragningstabeller som är aktiverade med HJÄLP av AI Gateway har följande schema:

Kolumnnamn	Beskrivning	Typ
request_date	UTC-datumet då modellserverns begäran togs emot.	DATUM
databricks_request_id	En Azure Databricks-genererad begärandeidentifierare som är kopplad till alla modelltjänstbegäranden.	STRÄNG
request_time	Tidsstämpeln där begäran tas emot.	TIDSSTÄMPEL
status_code	HTTP-statuskoden som returnerades från modellen.	INT
sampling_fraction	Samplingsfraktionen som användes i händelse av att begäran var nedsamplad. Det här värdet är mellan 0 och 1, där 1 representerar att 100% inkommande begäranden inkluderades.	DUBBEL
execution_duration_ms	Tiden i millisekunder som modellen utförde slutsatsdragning för. Detta inkluderar inte nätverksfördröjningar och representerar bara den tid det tog för modellen att generera förutsägelser.	BIGINT
request	JSON-innehållet i den råa begäran som skickades till slutpunkten där modellen betjänas.	STRÄNG
response	JSON-brödtexten för råsvaret som returnerades av modellen som betjänar slutpunkten.	STRÄNG
served_entity_id	Det unika ID:t för den betjänade entiteten.	STRÄNG
logging_error_codes	De fel som uppstod när data inte kunde loggas. Felkoder inkluderar MAX_REQUEST_SIZE_EXCEEDED och MAX_RESPONSE_SIZE_EXCEEDED.	ARRAY
requester	ID:t för användaren eller tjänstens huvudnamn vars behörigheter används för anropsbegäran för serverdelsslutpunkten.	STRÄNG

begränsningar

• Provisionerade kapacitetsarbetsbelastningar

  • Om du skapar en ny modell som betjänar slutpunkten som använder etablerat dataflöde stöds endast AI Gateway-aktiverade slutsatsdragningstabeller.
  • Om du har en befintlig modell som betjänar slutpunkten som använder etablerat dataflöde och den aldrig har haft slutsatsdragningstabeller som tidigare konfigureratskan du uppdatera den så att den använder AI Gateway-aktiverade slutsatsdragningstabeller.
  • Om du har en befintlig modell som betjänar slutpunkten som använder etablerat dataflöde och den har slutsatstabeller för närvarande eller tidigare konfigureradekan du inte uppdatera den för att använda AI Gateway-aktiverade slutsatsdragningstabeller.
  • För strömningsloggar för AI-agenters svar aggregeras endast ChatCompletion-kompatibla fält och spår.

• Loggleverans av slutsatsdragningstabeller är för närvarande bäst, men du kan förvänta dig att loggar är tillgängliga inom 1 timme efter en begäran. Kontakta ditt Databricks-kontoteam för mer information.

• Den maximala storleken för begäran och svar som loggas är 1 MiB (1 048 576 byte). Begäran- och svarslaster som överskrider detta loggas som null och logging_error_codes fylls med MAX_REQUEST_SIZE_EXCEEDED eller MAX_RESPONSE_SIZE_EXCEEDED.

För begränsningar som är specifika för AI Gateway, se Begränsningar. För allmänna begränsningar av modelltjänstgöringens slutpunkter, se Modelltjänstgöringens gränser och regioner.