Wprowadzenie do platformy Mosaic AI

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

W tym artykule opisano usługę Mosaic AI Gateway, rozwiązanie usługi Databricks do zarządzania dostępem i monitorowania do obsługiwanych modeli generowania sztucznej inteligencji oraz skojarzonych z nimi modeli obsługujących punkty końcowe.

Czym jest Mosaic AI Gateway?

Mosaic AI Gateway został zaprojektowany w celu usprawnienia użycia i zarządzania generatywnymi modelami i agentami sztucznej inteligencji w organizacji. Jest to scentralizowana usługa, która zapewnia zarządzanie, monitorowanie i gotowość produkcyjną dla serwujących modele punktów końcowych. Umożliwia również uruchamianie, zabezpieczanie i zarządzanie ruchem sztucznej inteligencji w celu demokratyzacji i przyspieszenia wdrażania sztucznej inteligencji w organizacji.

Wszystkie dane są rejestrowane w tabelach Delta w katalogu Unity .

Aby rozpocząć wizualizowanie szczegółowych informacji z danych bramy sztucznej inteligencji, pobierz przykładowy pulpit nawigacyjny bramy AI z usługi GitHub. Ten panel kontrolny korzysta z danych ze śledzenia użytkowania i tabel do wnioskowania z logowania ładunków.

Po pobraniu pliku JSON zaimportuj pulpit nawigacyjny do obszaru roboczego. Aby uzyskać instrukcje dotyczące importowania pulpitów nawigacyjnych, zobacz Importowanie pliku pulpitu nawigacyjnego.

Obsługiwane funkcje

W poniższej tabeli zdefiniowano dostępne funkcje bramy sztucznej inteligencji oraz typy punktów końcowych modelu, które je obsługują.

Funkcja	Definicja	Zewnętrzny punkt końcowy modelu	interfejsy API modelu bazowego punktu końcowego z aprowizowaną przepustowością	Agenci AI Mosaic
Limitowanie uprawnień i ograniczanie tempa	Kontroluj, kto ma dostęp i ile dostępu.	Wspierane	Wspierane	Nieobsługiwane
Rejestrowanie ładunku	Monitoruj i kontroluj dane wysyłane do interfejsów API modelu przy użyciu tabel wnioskowania .	Wspierane	Wspierane	Wspierane
Śledzenie użycia	Monitoruj użycie operacyjne na punktach końcowych oraz powiązane koszty, korzystając z tabel systemu .	Wspierane	Wspierane	Nieobsługiwane
Zabezpieczenia sztucznej inteligencji	Zapobiegaj niepożądanym danym i niebezpiecznym danym w żądaniach i odpowiedziach. Zobacz AI Guardrails.	Wspierane	Wspierane	Nieobsługiwane
Alternatywy	Zminimalizuj awarie produkcyjne podczas wdrażania i po jego wdrożeniu.	Wspierane	Nieobsługiwane	Nieobsługiwane
Dzielenie ruchu	Równoważenie obciążenia ruchu sieciowego pomiędzy modelami.	Wspierane	Wspierane	Nieobsługiwane

Mosaic AI Gateway nalicza opłaty na podstawie włączonych funkcji. W wersji zapoznawczej te płatne funkcje obejmują zabezpieczenia sztucznej inteligencji, rejestrowanie danych i monitorowanie użytkowania. Funkcje, takie jak uprawnienia zapytań, ograniczanie szybkości, mechanizmy rezerwowe i dzielenie ruchu, są bezpłatne. Opłaty za wszystkie nowe funkcje są naliczane.

W poniższej tabeli przedstawiono współczynnik jednostek usługi Databricks (DBU) na milion tokenów (M) dla płatnych funkcji bramy sztucznej inteligencji. Opłaty są wymienione pod Serverless Real-time Inference SKU.

Funkcja	Stawka DBU
Zabezpieczenia sztucznej inteligencji	21,429 JEDNOSTEK DBU na tokeny M
Rejestrowanie ładunku	2,857 DBU na milion tokenów
Śledzenie użycia	0,571 jednostek DBU na milion tokenów

Zabezpieczenia sztucznej inteligencji

Zabezpieczenia sztucznej inteligencji umożliwiają użytkownikom konfigurowanie i wymuszanie zgodności danych na poziomie punktu końcowego obsługującego model oraz zmniejszanie szkodliwej zawartości wszystkich żądań wysyłanych do modelu bazowego. Nieprawidłowe żądania i odpowiedzi są blokowane, a do użytkownika jest zwracany komunikat domyślny. Zobacz , jak skonfigurować zabezpieczenia w punkcie końcowym obsługującym model.

Ważne

Usługa moderacji AI Guardrails ma zależność od modeli API Modeli Bazowych w systemie płatności za token. Ta zależność ogranicza dostępność usługi moderowania AI Guardrails do regionów , które obsługują interfejsy API modelu Foundation z płatnością za token.

Poniższa tabela zawiera podsumowanie konfigurowalnych poręczy. Zobacz Ograniczenia.

Poręcze	Definicja
Filtrowanie bezpieczeństwa	Filtrowanie bezpieczeństwa uniemożliwia modelowi interakcję z niebezpieczną i szkodliwą zawartością, na przykład z przestępczością brutalną, samookaleczeniami i mową nienawiści. Filtr bezpieczeństwa bramy AI jest zbudowany na bazie Meta Llama 3. Databricks używa Llama Guard 2-8b jako filtru bezpieczeństwa. Aby dowiedzieć się więcej o filtrze bezpieczeństwa llama Guard i tematach dotyczących filtru bezpieczeństwa, zobacz kartę modelu Meta Llama Guard 2 8B. Meta Llama 3 jest licencjonowany na LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.
Wykrywanie danych osobowych	Klienci mogą wykrywać wszelkie poufne informacje, takie jak nazwy, adresy, numery kart kredytowych dla użytkowników. W przypadku tej funkcji usługa AI Gateway używa interfejsu Presidio do wykrywania następujących kategorii amerykańskich danych piI: numery kart kredytowych, adresy e-mail, numery telefonów, numery kont bankowych i numery ubezpieczenia społecznego. Klasyfikator piI może pomóc zidentyfikować poufne informacje lub dane osobowe w danych ustrukturyzowanych i nieustrukturyzowanych. Ponieważ jednak korzysta ona z mechanizmów automatycznego wykrywania, nie ma gwarancji, że usługa znajdzie wszystkie poufne informacje. W związku z tym należy stosować dodatkowe systemy i zabezpieczenia. Metody klasyfikacji są głównie ograniczone do kategorii amerykańskich danych osobowych, takich jak amerykańskie numery telefonów oraz amerykańskie numery ubezpieczenia społecznego.
Moderowanie tematów	Możliwość wyświetlania listy dozwolonych tematów. Biorąc pod uwagę żądanie czatu, ten mechanizm zabezpieczający flaguje żądanie, jeśli jego temat nie znajduje się w dozwolonych tematach.
Filtrowanie słów kluczowych	Klienci mogą określić różne zestawy nieprawidłowych słów kluczowych zarówno dla danych wejściowych, jak i wyjściowych. Jednym z potencjalnych przypadków użycia filtrowania słów kluczowych jest to, że model nie mówi o konkurentach. Ta bariera ochronna używa dopasowania słów kluczowych lub ciągów, aby zdecydować, czy słowo kluczowe istnieje w treści żądania lub odpowiedzi.

Użyj bramy sztucznej inteligencji

Funkcje Bramy AI można skonfigurować na punktach końcowych obsługi modelu za pomocą interfejsu użytkownika Serving. Zobacz Konfigurowanie bramy sztucznej inteligencji na punktach końcowych obsługi modeli.

Ograniczenia

Poniżej przedstawiono ograniczenia w okresie obowiązywania wersji zapoznawczej:

• Brama sztucznej inteligencji jest obsługiwana tylko dla:
  • Interfejsy API modeli podstawowych z przydzieloną przepustowością obsługują punkty końcowe modeli.
  • Model obsługujący punkty końcowe obsługujące modeli zewnętrznych.
  • Model obsługi punktów końcowych, które obsługują agentów mozaiki AI .
• Gdy używane są zabezpieczenia sztucznej inteligencji, wielkość partii żądania, czyli wielkość partii osadzania, wielkość partii ukończenia lub parametr n żądania czatu, nie może przekraczać 16.
• Dla obciążeń z zarezerwowaną przepustowością obsługiwane są tylko ograniczanie szybkości i rejestrowanie ładunków przy użyciu tabel wnioskowania obsługiwanych przez AI Gateway.
• Zobacz ograniczenia tabeli wnioskowania obsługiwanej przez bramę sztucznej inteligencji.
• Jeśli używasz funkcji wywołującej i określisz zabezpieczenia AI, te zabezpieczenia nie są stosowane do żądań i odpowiedzi pośrednich funkcji. Jednak zabezpieczenia są stosowane do końcowej odpowiedzi wyjściowej.