Utiliser des modèles de langage

  • 3 minutes

Les organisations et les développeurs peuvent effectuer l’apprentissage de leurs propres modèles de langage à partir de zéro, mais dans la plupart des cas, il est plus pratique d’utiliser un modèle de base existant, et éventuellement de l’optimiser avec vos propres données d’apprentissage. Vous pouvez utiliser de nombreuses sources de modèles.

Sur Microsoft Azure, vous trouverez des modèles de base dans le service Azure OpenAI et dans le catalogue de modèles. Le catalogue de modèles est une source organisée de modèles pour les scientifiques des données et les développeurs qui utilisent Azure AI Studio et Azure Machine Learning. Ceci a l’avantage d’offrir des modèles de langage de pointe, comme la collection de modèles GPT (transformeur génératif préentraîné) (sur lesquels ChatGPT et les propres services d’IA générative de Microsoft sont basés) ainsi que le modèle DALL-E pour la génération d’images. L’utilisation de ces modèles à partir du service Azure OpenAI signifie que vous bénéficiez également d’une plateforme cloud Azure sécurisée et évolutive dans laquelle les modèles sont hébergés.

Outre les modèles Azure OpenAI, le catalogue de modèles inclut les modèles open source les plus récents de Microsoft et de plusieurs partenaires, notamment :

  • OpenAI
  • HuggingFace
  • Mistral
  • Meta et d’autres.

Voici quelques-uns des modèles Azure OpenAI les plus courants :

  • GPT-3.5-Turbo, GPT-4 et GPT-4o : modèles à langage entrant et message sortant.
  • GPT-4 Turbo avec Vision : modèle de langage développé par OpenAI qui est capable d’analyser des images et de fournir des réponses textuelles aux questions à leur sujet. Il intègre à la fois le traitement du langage naturel et la compréhension visuelle.
  • DALL-E : modèle de langage qui génère des images inédites, des variantes d’images et qui peut modifier des images.

Grands et petits modèles de langage

Il existe de nombreux modèles de langage que vous pouvez utiliser pour alimenter des applications d’IA générative. En général, les modèles de langage peuvent être classés en deux catégories : Les grands modèles de langage (LLM, Large Language Model) et les petits modèles de langage (SLM, Small Language Model).

Grands modèles de langage (LLM) Petits modèles de langage (SLM)
L’apprentissage des LLM est effectué avec de très grandes quantités de textes qui représentent un large éventail de sujets généraux, habituellement avec comme sources de données Internet et d’autres publications disponibles publiquement. L’apprentissage des SLM est effectué avec des jeux de données plus petits et plus axés sur un sujet donné.
Une fois leur apprentissage effectué, les LLM ont plusieurs milliards (et même des billions) de paramètres (des pondérations qui peuvent être appliquées à des incorporations vectorielles pour calculer des séquences de jetons prédites). En règle générale, ils ont moins de paramètres que les LLM.
Capable d’exposer des capacités de génération de langage complètes dans un large éventail de contextes conversationnels. Ce vocabulaire ciblé les rend très efficaces dans des sujets de conversation spécifiques, mais moins efficaces dans la génération d’un langage plus général.
Leur grande taille peut avoir un impact sur leurs performances et les rendre difficiles à déployer localement sur des appareils et des ordinateurs. La taille plus petite des SLM peut offrir davantage d’options de déploiement, notamment un déploiement local sur des appareils et des ordinateurs locaux, et elle les rend plus rapides et plus faciles à optimiser.
L’optimisation du modèle avec des données supplémentaires pour personnaliser son expertise sur un sujet spécifique peut être fastidieuse et coûteuse en termes de puissance de calcul nécessaire pour effectuer l’apprentissage supplémentaire. L’optimisation peut potentiellement être moins longue et coûteuse.