Mozaïek AI Gateway

Belangrijk

Deze functie is beschikbaar als openbare preview.

In dit artikel wordt Mozaïek AI Gateway beschreven, de Databricks-oplossing voor het beheren en bewaken van toegang tot ondersteunde generatieve AI-modellen en hun bijbehorende model voor eindpunten.

Wat is Mosaic AI Gateway?

Mozaïek AI Gateway is ontworpen om het gebruik en beheer van generatieve AI-modellen binnen een organisatie te stroomlijnen. Het is een gecentraliseerde service die governance, bewaking en productiegereedheid biedt om eindpunten te modelleren. Hiermee kunt u ai-verkeer uitvoeren, beveiligen en beheren om AI-verkeer te democratiseren en versnellen voor uw organisatie.

Alle gegevens worden aangemeld bij Delta-tabellen in Unity Catalog.

Als u inzichten van uw AI Gateway-gegevens wilt visualiseren, downloadt u het AI Gateway-voorbeelddashboard van GitHub. Dit dashboard maakt gebruik van de gegevens uit de deductietabellen voor het bijhouden van gebruik en nettoladingregistratie.

Nadat u het JSON-bestand hebt gedownload, importeert u het dashboard in uw werkruimte. Zie Een dashboardbestand importeren voor instructies over het importeren van dashboards.

AI Gateway ondersteunt de volgende functies:

• Machtiging en snelheidsbeperking om te bepalen wie toegang heeft en hoeveel toegang.
• Logboekregistratie van nettolading voor het bewaken en controleren van gegevens die worden verzonden naar model-API's met behulp van deductietabellen.
• Gebruik bijhouden om het operationele gebruik op eindpunten en de bijbehorende kosten te bewaken met behulp van systeemtabellen.
• AI-kaders om ongewenste gegevens en onveilige gegevens in aanvragen en antwoorden te voorkomen.
• Verkeersroutering om productiestoringen tijdens en na de implementatie te minimaliseren.

Mozaïek AI Gateway brengt kosten in rekening op basis van ingeschakelde functies. Tijdens de preview zijn deze betaalde functies onder andere AI-kaders, logboekregistratie van nettoladingen en het bijhouden van gebruik. Functies zoals querymachtigingen, snelheidsbeperking en verkeersroutering zijn gratis. Er worden kosten in rekening gebracht voor alle nieuwe functies.

In de volgende tabel ziet u het tokentarief voor Databricks-eenheden (DBU's) per miljoen (M) voor de betaalde AI Gateway-functies. Kosten worden vermeld onder de Serverless Real-time Inference SKU.

Functie	DBU-tarief
AI-kaders	21.429 DBUs per M-tokens
Logboekregistratie van nettolading	2.857 DBU's per M-tokens
Gebruik bijhouden	0,571 DBU's per M-tokens

AI-kaders

Met AI-kaders kunnen gebruikers gegevenscompatibiliteit configureren en afdwingen op eindpuntniveau en schadelijke inhoud verminderen voor aanvragen die naar het onderliggende model worden verzonden. Ongeldige aanvragen en antwoorden worden geblokkeerd en er wordt een standaardbericht geretourneerd aan de gebruiker. Zie hoe u kaders configureert voor een model dat eindpunt voor de dienst biedt.

Belangrijk

AI-kaders zijn alleen beschikbaar in regio's die ondersteuning bieden voor Betalen per token van Foundation Model-API's.

De volgende tabel bevat een overzicht van de configureerbare kaders.

Veiligheidsrail	Definitie
Veiligheidsfilters	Met veiligheidsfilters voorkomt u dat uw model communiceert met onveilige en schadelijke inhoud, zoals gewelddadige misdaad, zelfbeschadiging en haatspraak. Ai Gateway-veiligheidsfilter is gebouwd met Meta Llama 3. Databricks gebruikt Llama Guard 2-8b als veiligheidsfilter. Zie de Meta Llama Guard 2 8B-modelkaart voor meer informatie over het Llama Guard-veiligheidsfilter en welke onderwerpen van toepassing zijn op het veiligheidsfilter. Meta Llama 3 is gelicentieerd onder de LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties.
Detectie van persoonsgegevens (PII)	Klanten kunnen gevoelige informatie, zoals namen, adressen, creditcardnummers voor gebruikers, detecteren. Voor deze functie gebruikt AI Gateway Presidio om de volgende Amerikaanse categorieën piI te detecteren: creditcardnummers, e-mailadressen, telefoonnummers, bankrekeningnummers en burgerservicenummers. De PII-classificatie kan helpen bij het identificeren van gevoelige informatie of PII in gestructureerde en ongestructureerde gegevens. Omdat het echter gebruikmaakt van geautomatiseerde detectiemechanismen, is er geen garantie dat de service alle gevoelige informatie vindt. Bijgevolg moeten aanvullende systemen en beschermingen worden toegepast. Deze classificatiemethoden zijn voornamelijk gericht op Amerikaanse categorieën piI, zoals amerikaanse telefoonnummers en burgerservicenummers.
Onderwerpbeheer	Mogelijkheid om een set toegestane onderwerpen weer te geven. Op basis van een chataanvraag markeert dit kader de aanvraag als het onderwerp zich niet in de toegestane onderwerpen bevindt.
Trefwoordfiltering	Klanten kunnen verschillende sets ongeldige trefwoorden opgeven voor zowel de invoer als de uitvoer. Een mogelijke use-case voor het filteren van trefwoorden is dat het model niet over concurrenten praat. Deze kader maakt gebruik van trefwoorden of tekenreeksen die overeenkomen om te bepalen of het trefwoord bestaat in de inhoud van de aanvraag of het antwoord.

AI Gateway gebruiken

U kunt AI Gateway-functies configureren op uw model voor eindpunten die eindpunten bedienen met behulp van de gebruikersinterface van de server. Zie AI Gateway configureren op model voor eindpunten.

Beperkingen

Dit zijn beperkingen tijdens de preview:

• AI Gateway wordt alleen ondersteund voor modelservereindpunten die externe modellen bedienen.
• Wanneer kaders worden gebruikt, kan de batchgrootte van de aanvraag, een ingesloten batchgrootte, voltooiingsbatchgrootte of de n parameter van chataanvragen, niet groter zijn dan 16.