Udostępnij za pośrednictwem

Brama mozaiki sztucznej inteligencji

  • Artykuł

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

W tym artykule opisano usługę Mosaic AI Gateway, rozwiązanie usługi Databricks do zarządzania dostępem i monitorowania do obsługiwanych modeli generowania sztucznej inteligencji oraz skojarzonych z nimi modeli obsługujących punkty końcowe.

Co to jest brama mozaiki sztucznej inteligencji?

Brama mozaiki sztucznej inteligencji została zaprojektowana w celu usprawnienia korzystania z modeli generacyjnych sztucznej inteligencji i zarządzania nimi w organizacji. Jest to scentralizowana usługa, która zapewnia ład, monitorowanie i gotowość produkcyjną do modelowania obsługujących punkty końcowe. Umożliwia również uruchamianie, zabezpieczanie i zarządzanie ruchem sztucznej inteligencji w celu demokratyzacji i przyspieszenia wdrażania sztucznej inteligencji w organizacji.

Wszystkie dane są rejestrowane w tabelach delty w wykazie aparatu Unity.

Aby rozpocząć wizualizowanie szczegółowych informacji z danych bramy sztucznej inteligencji, pobierz przykładowy pulpit nawigacyjny bramy AI z usługi GitHub. Ten pulpit nawigacyjny korzysta z danych ze śledzenia użycia i tabel wnioskowania o ładunku.

Po pobraniu pliku JSON zaimportuj pulpit nawigacyjny do obszaru roboczego. Aby uzyskać instrukcje dotyczące importowania pulpitów nawigacyjnych, zobacz Importowanie pliku pulpitu nawigacyjnego.

Brama sztucznej inteligencji obsługuje następujące funkcje:

  • Ograniczanie uprawnień i szybkości w celu kontrolowania, kto ma dostęp i ile dostępu.
  • Rejestrowanie ładunku w celu monitorowania i inspekcji danych wysyłanych do interfejsów API modelu przy użyciu tabel wnioskowania.
  • Śledzenie użycia w celu monitorowania użycia operacji w punktach końcowych i skojarzonych kosztów przy użyciu tabel systemowych.
  • Zabezpieczenia sztucznej inteligencji, aby zapobiec niepożądanym danym i niebezpiecznym danym w żądaniach i odpowiedziach.
  • Routing ruchu w celu zminimalizowania przestojów produkcyjnych podczas wdrażania i po jego wdrożeniu.

Brama mozaiki sztucznej inteligencji wiąże się z opłatami w oparciu o włączoną funkcję. W wersji zapoznawczej te płatne funkcje obejmują zabezpieczenia sztucznej inteligencji, rejestrowanie ładunków i śledzenie użycia. Funkcje, takie jak uprawnienia zapytań, ograniczanie szybkości i routing ruchu, są bezpłatne. Opłaty za wszystkie nowe funkcje są naliczane.

W poniższej tabeli przedstawiono współczynnik jednostek usługi Databricks (DBU) na milion tokenów (M) dla płatnych funkcji bramy sztucznej inteligencji. Opłaty są wymienione w Serverless Real-time Inference ramach jednostki SKU.

Funkcja Szybkość jednostki DBU
Zabezpieczenia sztucznej inteligencji 21,429 JEDNOSTEK DBU na tokeny M
Rejestrowanie ładunku 2,857 JEDNOSTEK DBU na tokeny języka M
Śledzenie użycia 0,571 JEDNOSTEK DBU na tokeny języka M

Zabezpieczenia sztucznej inteligencji

Zabezpieczenia sztucznej inteligencji umożliwiają użytkownikom konfigurowanie i wymuszanie zgodności danych na poziomie punktu końcowego obsługującego model oraz zmniejszanie szkodliwej zawartości wszystkich żądań wysyłanych do modelu bazowego. Nieprawidłowe żądania i odpowiedzi są blokowane, a do użytkownika jest zwracany komunikat domyślny. Zobacz , jak skonfigurować zabezpieczenia w punkcie końcowym obsługującym model.

Ważne

Zabezpieczenia sztucznej inteligencji są dostępne tylko w regionach, które obsługują interfejsy API modelu foundation pay-per-token.

Poniższa tabela zawiera podsumowanie konfigurowalnych poręczy.

Poręcze Definicja
Filtrowanie bezpieczeństwa Filtrowanie bezpieczeństwa uniemożliwia modelowi interakcję z niebezpieczną i szkodliwą zawartością, na przykład z przestępczością brutalną, samookaleczeniami i mową nienawiści.

Filtr bezpieczeństwa bramy sztucznej inteligencji został skompilowany za pomocą meta llama 3. Usługa Databricks używa funkcji Llama Guard 2-8b jako filtru bezpieczeństwa. Aby dowiedzieć się więcej o filtrze bezpieczeństwa llama Guard i tematach dotyczących filtru bezpieczeństwa, zobacz kartę modelu Meta Llama Guard 2 8B.

Meta Llama 3 jest licencjonowany w ramach licencji LLAMA 3 Community License, Copyright © Meta Platform, Inc. Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.
Wykrywanie danych osobowych Klienci mogą wykrywać wszelkie poufne informacje, takie jak nazwy, adresy, numery kart kredytowych dla użytkowników.

W przypadku tej funkcji usługa AI Gateway używa interfejsu Presidio do wykrywania następujących kategorii amerykańskich danych piI: numery kart kredytowych, adresy e-mail, numery telefonów, numery kont bankowych i numery ubezpieczenia społecznego.

Klasyfikator piI może pomóc zidentyfikować poufne informacje lub dane osobowe w danych ustrukturyzowanych i nieustrukturyzowanych. Ponieważ jednak korzysta ona z mechanizmów automatycznego wykrywania, nie ma gwarancji, że usługa znajdzie wszystkie poufne informacje. W związku z tym należy stosować dodatkowe systemy i zabezpieczenia.

Te metody klasyfikacji są głównie ograniczone do kategorii amerykańskich danych pii, takich jak numery telefonów USA i numery ubezpieczenia społecznego.
Moderowanie tematów Możliwość wyświetlania listy dozwolonych tematów. Biorąc pod uwagę żądanie czatu, ta poręcz flaguje żądanie, jeśli jego temat nie znajduje się w dozwolonych tematach.
Filtrowanie słów kluczowych Klienci mogą określić różne zestawy nieprawidłowych słów kluczowych zarówno dla danych wejściowych, jak i wyjściowych. Jednym z potencjalnych przypadków użycia filtrowania słów kluczowych jest to, że model nie mówi o konkurentach.

Ta blokada używa słowa kluczowego lub dopasowania ciągu, aby zdecydować, czy słowo kluczowe istnieje w treści żądania lub odpowiedzi.

Korzystanie z bramy sztucznej inteligencji

Funkcje bramy sztucznej inteligencji można skonfigurować w modelu obsługującym punkty końcowe przy użyciu interfejsu użytkownika obsługującego. Zobacz Konfigurowanie bramy sztucznej inteligencji w modelu obsługujących punkty końcowe.

Ograniczenia

Poniżej przedstawiono ograniczenia w okresie obowiązywania wersji zapoznawczej:

  • Brama sztucznej inteligencji jest obsługiwana tylko w przypadku punktów końcowych obsługujących modele zewnętrzne.
  • Gdy są używane poręcze, rozmiar partii żądania, czyli rozmiar partii osadzania, rozmiar partii ukończenia lub n parametr żądania czatu, nie może przekraczać 16.