Questions fréquentes sur le service d’inférence de modèle Azure AI

Le service Azure OpenAI permet aux clients d’accéder aux modèles de langage avancés d’OpenAI. Le service d’inférence de modèle Azure AI permet aux clients d’accéder à tous les modèles phares dans Azure AI, notamment Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 labs, etc. Cet accès se trouve sous le même service, point de terminaison et informations d’identification. Les clients peuvent basculer en toute transparence entre les modèles sans modifier leur code.

Azure OpenAI Service et le service d’inférence de modèle Azure AI font partie de la famille Azure AI services et s’appuient sur la même promesse de sécurité et d’entreprise d’Azure.

Bien que le service d’inférence de modèle Azure AI se concentre sur l’inférence, Azure OpenAI Service peut être utilisé avec des API plus avancées telles que le traitement par lots, le réglage précis, les Assistants et les fichiers.

Les modèles Azure AI et Azure OpenAI Service permettent aux clients d’accéder aux modèles de langage avancés d’OpenAI avec la promesse de sécurité et d’entreprise d’Azure. Azure OpenAI codéveloppe les API avec OpenAI, ce qui garantit la compatibilité et une transition en douceur de l'une à l'autre.

Les clients bénéficient des fonctionnalités de sécurité de Microsoft Azure tout en exécutant les mêmes modèles qu’OpenAI. Il offre une mise en réseau privé, une disponibilité régionale et un filtrage de contenu d’IA responsable.

En savoir plus sur le service Azure OpenAI.

Azure AI services est une suite de services IA qui fournissent des API prédéfinies pour les scénarios d’IA courants. L’un d’eux est le service d’inférence de modèle Azure AI qui se concentre sur le service d’inférence de différents modèles de pointe. Azure AI studio est un outil Web qui vous permet de créer, d’entraîner et de déployer des modèles Machine Learning. Azure AI services peut être utilisé dans Azure AI studio pour améliorer vos modèles avec des fonctionnalités d’IA prédéfinies.

Les deux technologies vous permettent de déployer des modèles sans nécessiter de ressources de calcul, car elles sont basées sur l’idée de MaaS (modèles en tant que service). Les déploiements de modèles d’API serverless vous permettent de déployer un modèle unique sous un point de terminaison et des informations d’identification uniques. Vous devez créer un point de terminaison différent pour chaque modèle que vous souhaitez déployer. En plus de cela, ils sont toujours créés dans le contexte du projet et, bien qu’ils puissent être partagés en créant des connexions à partir d’autres projets, ils vivent dans le contexte d’un projet donné.

Le service d’inférence de modèle Azure AI vous permet de déployer plusieurs modèles sous le même point de terminaison et les mêmes informations d’identification. Vous pouvez basculer entre les modèles sans modifier votre code. Ils se trouvent également dans le contexte d’une ressource partagée, la ressource Azure AI Services, ce qui implique que vous pouvez connecter la ressource à n’importe quel projet ou hub qui nécessite d’utiliser les modèles que vous avez rendus disponibles. Le service d’inférence de modèle Azure AI est fourni avec une fonctionnalité de routage de modèle intégrée qui achemine la requête vers le modèle approprié en fonction du nom du modèle que vous transmettez dans la requête.

Ces deux options de modèle de déploiement présentent également des différences en termes de fonctionnalités. Vous pouvez en savoir plus à leur sujet à [../concepts/deployment-overview.md]

Le service d’inférence de modèle Azure AI dans AI services prend en charge tous les modèles du catalogue Azure AI avec la facturation de paiement à l’utilisation (par jeton). Pour plus d’informations, consultez la section Modèles.

Le catalogue de modèles Azure AI contient une liste plus large de modèles, mais ces modèles nécessitent un quota de calcul à partir de votre abonnement. Ils doivent également disposer d’un projet ou d’un hub IA où héberger le déploiement. Pour plus d’informations, consultez les options de déploiement dans Azure AI studio.

Les modèles Azure OpenAI Service o1 nécessitent une inscription et sont éligibles uniquement aux clients de l’offre Contrat Entreprise. Les abonnements non soumis à l’offre Contrat Entreprise sont soumis à un refus. Nous intégrons des clients éligibles au fur et à mesure que nous avons de la place. En raison de la demande élevée, les clients éligibles peuvent rester sur la liste d’attente jusqu’à ce qu’une place soit disponible.

Les autres modèles (voir la liste) ne nécessitent pas d’inscription. En savoir plus sur l’accès limité à Azure OpenAI Service.

Vous pouvez utiliser le SDK Azure Inférence avec n’importe quel modèle pris en charge par :

• Le SDK Azure AI Inférence
• La classe AzureOpenAI dans le SDK OpenAI
• Le SDK Azure OpenAI

Le SDK Cohere, le SDK Mistral et les SDK spécifiques au fournisseur de modèles ne sont pas pris en charge lorsqu’ils sont connectés au service d’inférence de modèle Azure AI.

Pour plus d’informations, consultez les SDK et les langages de programmation pris en charge.

La dernière version de la bibliothèque Python OpenAI (version>=1.0) prend en charge Azure AI services.

Vérifiez que vous avez créé un déploiement pour le modèle donné et que le nom du déploiement correspond exactement à la valeur que vous transmettez au paramètre model. Bien que le routage ne respecte pas la casse, assurez-vous qu’il n’y a pas d’erreurs au niveau de la ponctuation spéciale ou des espaces.

La ressource Azure AI Services nécessite la version azure-ai-inference>=1.0.0b5 de Python. Vérifiez que vous utilisez cette version.

Vérifiez que vous utilisez le point de terminaison approprié pour le service Azure OpenAI et le bon ensemble d’informations d’identification. Vérifiez également que vous utilisez la classe AzureOpenAI du SDK OpenAI, car le mécanisme d’authentification et les URL utilisés sont différents.

Nos API actuelles autorisent jusqu’à 10 en-têtes personnalisés qui sont passés via le pipeline et retournés. Nous avons remarqué que certains clients dépassent désormais ce nombre d’en-têtes, ce qui provoque des erreurs HTTP 431. Il n’existe aucune solution à cette erreur si ce n’est de réduire le volume des en-têtes. Nous recommandons aux clients de ne pas dépendre des en-têtes personnalisés dans les futures architectures système.

Vous êtes facturé pour les entrées et sorties vers les API, généralement en jetons. Il n’existe aucun coût associé à la ressource elle-même ou aux déploiements.

Le prix du jeton varie selon chaque modèle et vous êtes facturé par 1000 jetons. Vous pouvez voir les détails de tarification avant de déployer un modèle donné.

La facturation et les coûts sont affichés dans Cost Management + Billing. Vous pouvez voir les détails d’utilisation sur le Portail Azure.

La facturation n’est pas affichée dans Azure AI studio.

Vous pouvez configurer une limite de dépense sur le Portail Azure sous Cost Management. Cette limite vous empêche de dépenser plus que le montant que vous définissez. Une fois la limite de dépense atteinte, l’abonnement est désactivé et vous ne pouvez pas utiliser le point de terminaison jusqu’au prochain cycle de facturation. Pour plus d’informations, consultez Tutoriel : Créer et gérer des budgets.

L’inférence de modèle Azure AI n’utilise pas les données client pour recycler les modèles. Vos données ne sont jamais partagées avec les fournisseurs de modèles.