Mosaic AI Gateway
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Vad är Mosaic AI Gateway?
Mosaic AI Gateway är utformad för att effektivisera användningen och hanteringen av generativa AI-modeller inom en organisation. Det är en centraliserad tjänst som ger styrnings-, övervaknings- och produktionsberedskap för att modellera serverdelsslutpunkter. Du kan också köra, skydda och styra AI-trafik för att demokratisera och påskynda AI-implementeringen för din organisation.
Alla data loggas in i Delta-tabeller i Unity Catalog.
Om du vill börja visualisera insikter från dina AI Gateway-data laddar du ned ai Gateway-exempelinstrumentpanelen från GitHub. Den här instrumentpanelen utnyttjar data från inferenstabellerna för användningsspårning och nyttolastloggning.
När du har laddat ned JSON-filen importerar du instrumentpanelen till din arbetsyta. Anvisningar om hur du importerar instrumentpaneler finns i Importera en instrumentpanelsfil.
funktioner som stöds
I följande tabell definieras tillgängliga AI Gateway-funktioner och vilken modell som betjänar slutpunktstyper stöder dem.
| Funktion | Definition | Slutpunkt för extern modell | API:er för foundationmodeller med provisionerade kapacitetsslutpunkter |
|---|---|---|---|
| Behörighets- och hastighetsbegränsning | Kontrollera vem som har åtkomst och hur mycket åtkomst. | ✓ | ✓ |
| Nyttolastloggning | Övervaka och granska data som skickas till modell-API:er med hjälp av slutsatsdragningstabeller. | ✓ | ✓ |
| Användningsspårning | Övervaka driftanvändningen på slutpunkter och associerade kostnader med hjälp av systemtabeller. | ✓ | ✓ |
| AI-skyddsräcken | Förhindra oönskade data och osäkra data i begäranden och svar. Se AI Guardrails. | ✓ | ✓ |
| Trafikroutning | Minimera produktionsstopp under och efter distributionen. | ✓ | ✓ |
Mosaic AI Gateway debiteras på en aktiverad funktionsbas. Under förhandsversionen inkluderar dessa betalda funktioner AI Guardrails, nyttolastloggning och användningsspårning. Funktioner som frågebehörigheter, hastighetsbegränsning och trafikroutning är kostnadsfria. Alla nya funktioner debiteras.
Följande tabell visar databricks-enheter (DBUs) per miljon token (M) för de betalda AI Gateway-funktionerna. Avgifter visas under SKU:n Serverless Real-time Inference .
| Funktion | DBU-hastighet |
|---|---|
| AI-skyddsräcken | 21.429 DBUs per M-token |
| Nyttolastloggning | 2,857 DBUs per M-token |
| Användningsspårning | 0,571 DBUs per M-token |
AI-skyddsräcken
MED AI Guardrails kan användare konfigurera och framtvinga dataefterlevnad på den modell som betjänar slutpunktsnivå och minska skadligt innehåll på alla begäranden som skickas till den underliggande modellen. Felaktiga begäranden och svar blockeras och ett standardmeddelande returneras till användaren. Se hur du konfigurerar skyddsräcken på en modell som betjänar slutpunkten.
Viktigt!
AI Guardrails är endast tillgängliga i regioner som stöder Foundation Model API:er betala per token.
I följande tabell sammanfattas de konfigurerbara skyddsräckena. Se begränsningar.
| Skyddsräcke | Definition |
|---|---|
| Säkerhetsfiltrering | Säkerhetsfiltrering hindrar din modell från att interagera med osäkert och skadligt innehåll, till exempel våldsbrott, självskadebeteende och hatpropaganda. Säkerhetsfiltret för AI Gateway skapas med Meta Llama 3. Databricks använder Llama Guard 2-8b som säkerhetsfilter. Mer information om Llama Guard-säkerhetsfiltret och vilka ämnen som gäller för säkerhetsfiltret finns i Meta Llama Guard 2 8B-modellkortet. Meta Llama 3 är licensierad under LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser. |
| Identifiering av personligt identifierbar information (PII) | Kunder kan identifiera känslig information, till exempel namn, adresser, kreditkortsnummer för användare. För den här funktionen använder AI Gateway Presidio för att identifiera följande amerikanska kategorier av PII: kreditkortsnummer, e-postadresser, telefonnummer, bankkontonummer och personnummer. PII-klassificeraren kan hjälpa till att identifiera känslig information eller PII i strukturerade och ostrukturerade data. Men eftersom den använder automatiserade identifieringsmekanismer finns det ingen garanti för att tjänsten hittar all känslig information. Därför bör ytterligare system och skydd användas. Dessa klassificeringsmetoder är främst begränsade till amerikanska kategorier av PII, till exempel amerikanska telefonnummer och personnummer. |
| Ämnesmoderering | Möjlighet att lista en uppsättning tillåtna ämnen. Med en chattbegäran flaggar det här skyddsräcket begäran om ämnet inte finns med i de tillåtna ämnena. |
| Nyckelordsfiltrering | Kunder kan ange olika uppsättningar med ogiltiga nyckelord för både indata och utdata. Ett potentiellt användningsfall för nyckelordsfiltrering är att modellen inte talar om konkurrenter. Det här skyddsräcket använder nyckelords- eller strängmatchning för att avgöra om nyckelordet finns i innehållet för begäran eller svar. |
Använda AI Gateway
Du kan konfigurera AI Gateway-funktioner på din modell som betjänar slutpunkter med hjälp av användargränssnittet för servering. Se Konfigurera AI Gateway på modell som betjänar slutpunkter.
begränsningar
Följande är begränsningar under förhandsversionen:
- AI Gateway stöds endast för:
- API:er för grundmodell etablerat dataflöde modell som betjänar slutpunkter.
- Slutpunkter för modellbetjäning som hanterar externa modeller.
- När AI-skyddsräcken används kan batchstorleken för begäranden, som kan vara en inbäddningsbatchstorlek, batchstorlek för slutföranden eller parametern
nför chattbegäranden, inte överstiga 16. - För etablerade dataflödesarbetsbelastningar stöds endast hastighetsbegränsning och nyttolastloggning med hjälp av AI Gateway-aktiverade slutsatsdragningstabeller.
- Se begränsningar för AI Gateway-aktiverade slutsatsdragningstabeller.
- Om du använder funktionen för att anropa och anger AI-begränsningar tillämpas inte dessa begränsningar på begäranden och intermediära svar i funktionen. Dock tillämpas begränsningar på det slutgiltiga svaret.