Mosaic AI Gateway
Wichtig
Dieses Feature befindet sich in der Public Preview.
Was ist Mosaic AI Gateway?
Mosaik AI Gateway wurde entwickelt, um die Nutzung und Verwaltung von generativen KI-Modellen und Agents innerhalb einer Organisation zu optimieren. Es handelt sich um einen zentralisierten Dienst, der Governance, Überwachung und Produktionsbereitschaft Modellbereitstellungsendpunkte vereint. Außerdem können Sie damit KI-Datenverkehr ausführen, sichern und steuern, um die KI-Einführung in Ihrem Unternehmen zu demokratisieren und zu beschleunigen.
Alle Daten werden in Delta-Tabellen mit Unity Catalog protokolliert.
Laden Sie das Beispiel-AI-Gateway-Dashboard von GitHub herunter, um Einblicke aus Ihren KI-Gatewaydaten zu visualisieren. Dieses Dashboard nutzt die Daten aus der Verwendungsnachverfolgung und der Nutzlastprotokollierungs-Ableitungstabellen.
Nachdem Sie die JSON-Datei heruntergeladen haben, importieren Sie das Dashboard in Ihren Arbeitsbereich. Anweisungen zum Importieren von Dashboards finden Sie unter Importieren einer Dashboarddatei.
Unterstützte Features
In der folgenden Tabelle sind die verfügbaren AI Gateway-Funktionen aufgeführt und welche Modellbereitstellungsendpunkte ihre Unterstützung bieten.
| Funktion | Definition | Endpunkt des externen Modells | Endpunkt von Foundation Model-APIs mit bereitgestelltem Durchsatz | Mosaic AI-Agenten |
|---|---|---|---|---|
| Berechtigungs- und Ratenbegrenzung | Kontrollieren Sie, wer Zugriff hat und in welchem Umfang. | ✓ | ✓ | |
| Nutzdatenprotokollierung | Überwachen und Prüfen von Daten, die an Modell-APIs gesendet werden, mithilfe von -Inferenztabellen. | ✓ | ✓ | ✓ |
| Nutzungsverfolgung | Überwachen Sie die betriebliche Nutzung von Endpunkten und damit verbundenen Kosten mithilfe Systemtabellen. | ✓ | ✓ | |
| KI-Schutzmaßnahmen (Guardrails) | Verhindern Sie unerwünschte Daten und unsichere Daten in Anforderungen und Antworten. Siehe KI-Schutzmaßnahmen. | ✓ | ✓ | |
| Routing von Datenverkehr | Minimieren Sie Produktionsausfälle während und nach der Bereitstellung. | ✓ | ✓ |
Mosaic AI Gateway berechnet Gebühren auf Basis der aktivierten Funktionen. Während der Vorschau umfassen diese kostenpflichtigen Funktionen KI-Schutzmaßnahmen, Nutzdatenprotokollierung und Nutzungsverfolgung. Funktionen wie Abfrageberechtigungen, Ratenbegrenzung und Routing von Datenverkehr sind kostenlos. Alle neuen Features sind kostenpflichtig.
Die folgende Tabelle zeigt die Databricks-Einheiten (DBUs) pro Million (M) Token für die kostenpflichtigen AI Gateway-Funktionen. Gebühren werden unter der Serverless Real-time Inference SKU aufgeführt.
| Funktion | DBU-Rate |
|---|---|
| KI-Schutzmaßnahmen (Guardrails) | 21,429 DBUs pro M-Token |
| Nutzdatenprotokollierung | 2,857 DBUs pro M-Token |
| Nutzungsverfolgung | 0,571 DBUs pro M-Token |
KI-Schutzmaßnahmen (Guardrails)
KI-Schutzmaßnahmen ermöglichen es den Benutzern, die Datenkonformität auf der Ebene des Modellbereitstellungsendpunkts zu konfigurieren und zu gewährleisten und schädliche Inhalte bei allen an das zugrunde liegende Modell gesendeten Anfragen zu reduzieren. Ungültige Anforderungen und Antworten werden blockiert, und dem Benutzer wird eine Standardnachricht zurückgesendet. Erfahren Sie, wie Sie Schutzmaßnahmen für einen Modellbereitstellungsendpunkt konfigurieren.
Wichtig
KI-Schutzmaßnahmen sind nur in Regionen verfügbar, die Foundation Model APIs Pay-per-Token unterstützen.
In der folgenden Tabelle sind diese konfigurierbaren Schutzmaßnahmen zusammengefasst. Siehe Einschränkungen.
| Schutzmaßnahme | Definition |
|---|---|
| Sicherheitsfilterung | Die Sicherheitsfilterung verhindert, dass Ihr Modell mit unsicheren und schädlichen Inhalten wie Gewaltverbrechen, Selbstverletzung und Hassreden interagiert. Der AI Gateway-Sicherheitsfilter wird mit Meta Llama 3 erstellt. Databricks verwendet Llama Guard 2-8b als Sicherheitsfilter. Weitere Informationen zum Llama Guard-Sicherheitsfilter und zu den Themen, die auf den Sicherheitsfilter angewendet werden, finden Sie auf der Meta Llama Guard 2 8B-Modellkarte. Meta Llama 3 ist unter der LLAMA 3 Community License, Copyright © Meta Platforms, Inc. lizenziert. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen. |
| Erkennung personenbezogener Endbenutzerinformationen (Personally Identifiable Information, PII) | Kunden können vertrauliche Informationen wie Namen, Adressen, Kreditkartennummern für Benutzer erkennen. Für dieses Feature verwendet AI Gateway Presidio , um die folgenden US-Kategorien von PII zu erkennen: Kreditkartennummern, E-Mail-Adressen, Telefonnummern, Bankkontonummern und Sozialversicherungsnummern. Der PII-Klassifizierer kann dabei helfen, vertrauliche Informationen oder persönliche Daten in strukturierten und unstrukturierten Daten zu identifizieren. Da er jedoch automatisierte Erkennungsmechanismen verwendet, besteht keine Garantie dafür, dass der Dienst alle vertraulichen Informationen findet. Es sollten daher zusätzliche Systeme und Schutzmaßnahmen eingesetzt werden. Diese Klassifizierungsmethoden gelten in erster Linie für US-Kategorien von personenbezogenen Informationen, wir z. B. US-Telefonnummern und US-Sozialversicherungsnummern. |
| Themenmoderation | Funktionalität zum Auflisten einer Reihe zulässiger Themen. Bei einer Chatanfrage kennzeichnet diese Schutzmaßnahme die Anforderung, wenn sich ihr Thema nicht innerhalb der zulässigen Themen befindet. |
| Schlüsselwortfilter | Kunden können verschiedene Gruppen ungültiger Schlüsselwörter sowohl für die Eingabe als auch für die Ausgabe festlegen. Ein potenzieller Anwendungsfall für den Schlüsselwortfilter ist, dass das Modell keine Informationen über Wettbewerber enthält. Diese Schutzmaßnahme verwendet den Abgleich von Schlüsselwörtern oder Zeichenketten, um festzustellen, ob das Schlüsselwort im Inhalt der Anfrage oder der Antwort vorhanden ist. |
AI Gateway verwenden
Sie können die AI Gateway-Funktionen auf Ihren Modellbereitstellungsendpunkten mithilfe der Serving Benutzeroberfläche konfigurieren. Siehe Konfigurieren des AI Gateway auf Modellbereitstellungsendpunkten.
Einschränkungen
Die folgenden Einschränkungen gelten während der Vorschau:
- AI-Gateway wird nur unterstützt für:
- Modellbereitstellungsendpunkte von Foundation Model-APIs mit bereitgestelltem Durchsatz.
- Modellbereitstellungsendpunkte, die externen Modellen dienen.
- Modellbereitstellungsendpunkte, die Mosaic AI-Agenten dienen.
- Wenn KI-Schutzmaßnahmen verwendet werden, darf die Anforderungsbatchgröße, also die Batchgröße von Einbettungen, die Fertigstellungsbatchgröße oder der
n-Parameter von Chatanfragen, 16 nicht überschreiten. - Für bereitgestellte Durchsatzworkloads werden nur die Ratenbegrenzung und die Nutzdatenprotokollierung mit für AI Gateway aktivierten Rückschlusstabellen unterstützt.
- Siehe Einschränkungen von für AI Gateway aktivierte Rückschlusstabellen.
- Wenn Sie Funktionsaufruf verwenden und KI-Schutzmaßnahmen angeben, werden diese Schutzmaßnahmen nicht auf die Anfragen und Zwischenantworten der Funktion angewendet. Schutzmaßnahmen werden jedoch auf die endgültige Ausgabeantwort angewendet.