Mosaic AI Gateway
Important
Cette fonctionnalité est disponible en préversion publique.
Qu’est-ce que Mosaic AI Gateway ?
Mosaïque AI Gateway est conçu pour simplifier l’utilisation et la gestion des modèles et agents d’INTELLIGENCE artificielle générative au sein d’une organisation. Il s’agit d’un service centralisé qui assure la gouvernance, la surveillance et la préparation de la production pour les points de terminaison de service de modèles. Il vous permet également d’exécuter, de sécuriser et de régir le trafic d’IA pour démocratiser et accélérer l’adoption de l’IA pour votre organisation.
Toutes les données sont consignées dans des tables Delta dans Unity Catalog.
Pour commencer à visualiser des insights à partir de vos données AI Gateway, téléchargez l’exemple de tableau de bord de passerelle AI à partir de GitHub. Ce tableau de bord tire parti des données des tables d’inférence de suivi de l’utilisation et de la charge utile.
Une fois le fichier JSON téléchargé, importez le tableau de bord dans votre espace de travail. Pour obtenir des instructions sur l’importation de tableaux de bord, consultez Importer un fichier de tableau de bord.
Fonctionnalités prises en charge
Le tableau suivant définit les fonctionnalités disponibles de la passerelle d'IA et les types de points de terminaison de service de modèle qui les prennent en charge.
| Fonctionnalité | Définition | point de terminaison de modèle externe | Point de terminaison de débit approvisionné de l'API Foundation Model | Agents de Mosaic AI |
|---|---|---|---|---|
| Limitation des autorisations et des débits | Contrôler qui a accès et combien d’accès. | ✓ | ✓ | |
| Journalisation des charges utiles | Surveillez et auditez les données envoyées aux API de modèle à l’aide de tables d’inférence . | ✓ | ✓ | ✓ |
| Suivi de l’utilisation | Surveillez l'utilisation opérationnelle et les coûts associés sur les points d'accès en utilisant les tables système . | ✓ | ✓ | |
| Garde-fous d’IA | Empêcher les données indésirables et les données non sécurisées dans les requêtes et les réponses. Consultez Garde-fous de l'IA. | ✓ | ✓ | |
| Routage du trafic | Réduisez les pannes de production pendant et après le déploiement. | ✓ | ✓ |
Mosaic AI Gateway entraîne des frais basés sur les fonctionnalités activées. Pendant la préversion, ces fonctionnalités payantes incluent les garde-fous d’IA, la journalisation des charges utiles et le suivi de l’utilisation. Les fonctionnalités telles que les autorisations de requêtes, la limitation de débit et le routage du trafic sont gratuites. Toutes les nouvelles fonctionnalités sont facturées.
Le tableau suivant reflète le taux de jetons d’unités Databricks (DBU) par million de jetons (M) pour les fonctionnalités IA Gateway payantes. Les frais sont répertoriés sous la référence SKU Serverless Real-time Inference.
| Fonctionnalité | Taux de DBU |
|---|---|
| Garde-fous d’IA | 21 429 DBU par million de jetons |
| Journalisation des charges utiles | 2 857 DBU par million de jetons |
| Suivi de l’utilisation | 0,571 DBU par million de jetons |
Garde-fous d’IA
Les garde-fous IA permettent aux utilisateurs de configurer et d’appliquer la conformité des données au niveau du point de terminaison de service du modèle et de réduire le contenu dangereux sur toutes les requêtes envoyées au modèle sous-jacent. Les demandes et réponses incorrectes sont bloquées et un message par défaut est envoyé à l’utilisateur. Consultez Comment configurer des garde-fous sur un point de terminaison de service de modèle.
Important
Les garde-fous d’IA sont disponibles uniquement dans les régions qui prennent en charge les API Foundation Model avec paiement par jeton.
Le tableau suivant récapitule les garde-fous configurables. Consultez Limitations.
| Garde-fou | Définition |
|---|---|
| Filtrage de sécurité | Le filtrage de sécurité empêche votre modèle d’interagir avec le contenu non sécurisé et dangereux comme le crime violent, l’automutilation et les discours de haine. Le filtre de sécurité AI Gateway est créé avec Meta Llama 3. Databricks utilise Llama Guard 2-8b comme filtre de sécurité. Pour en savoir plus sur le filtre de sécurité Llama Guard et les rubriques qui s’appliquent au filtre de sécurité, consultez la carte de modèle Meta Llama Guard 2 8B. Meta Llama 3 est concédé sous licence de la communauté LLAMA 3, Copyright © Meta Platforms, Inc. Tous droits réservés. Les clients sont tenus de d’assurer de leur conformité vis-à-vis des licences de modèle applicables. |
| Détection d’informations identifiables personnellement (PII) | Les clients peuvent détecter toutes les informations sensibles telles que les noms, les adresses, les numéros de carte de crédit pour les utilisateurs. Pour cette fonctionnalité, AI Gateway utilise Presidio pour détecter les catégories d’informations personnelles suivantes : numéros de carte de crédit, adresses e-mail, numéros de téléphone, numéros de compte bancaire et numéros de sécurité sociale suivants. Le classifieur de PII peut aider à identifier les informations sensibles ou PII dans des données structurées et non structurées. Toutefois, étant donné qu’il utilise des mécanismes de détection automatisés, il n’y a aucune garantie que le service trouvera toutes les informations sensibles. Par conséquent, des systèmes et des protections supplémentaires doivent être utilisés. Ces méthodes de classification sont principalement étendues aux catégories de PII des États-Unis telles que les numéros de téléphone et les numéros de sécurité sociale des États-Unis. |
| Modération des sujets | Possibilité de répertorier un ensemble de sujets autorisés. Lors d’une demande de conversation, ce garde-fou signale la demande si son sujet ne figure pas parmi les sujets autorisés. |
| Filtrage de mots clés | Les clients peuvent spécifier différents ensembles de mots clés non valides pour l’entrée et la sortie. Un cas d’utilisation potentiel pour le filtrage de mots clés consiste à faire en sorte que le modèle n’évoque pas les concurrents. Ce garde-fou utilise la correspondance de mots clés ou de chaînes pour déterminer si le mot clé existe dans le contenu de la demande ou de la réponse. |
Utiliser IA Gateway
Vous pouvez configurer des fonctionnalités de AI Gateway sur vos points de terminaison de service de modèle à l’aide de l’interface utilisateur de service. Consultez Configurer AI Gateway sur les points de terminaison de service de modèle.
Limitations de
Les limitations suivantes s’appliquent pendant la préversion :
- La passerelle IA est prise en charge uniquement pour :
- API Foundation Model avec débit approvisionné servant de points de terminaison pour les modèles.
- Points de terminaison pour le service des modèles servant des modèles externes.
- Modèle servant des points de terminaison qui servent les agents de Mosaic AI.
- Lorsque des garde-fous d'IA sont utilisés, la taille du lot de requête, c'est-à-dire une taille de lot d'intégrations, une taille de lot de complétions, ou le paramètre
ndes demandes de conversation, ne peut pas dépasser 16. - Pour les charges de travail de débit approvisionnées, seules la limitation de débit et la journalisation des charges utiles à l’aide de tables d’inférence compatibles avec la passerelle d’IA sont prises en charge.
- Consultez les limitations de la table d'inférence activée par la passerelle d’AI.
- Si vous utilisez fonction appelant et spécifiez des garde-fous IA, ces garde-fous ne sont pas appliqués aux requêtes et aux réponses intermédiaires de la fonction. Toutefois, les garde-fous sont appliqués à la réponse de sortie finale.