Présentation

  • 1 minute

Les modèles de fondation, tels que GPT-4, sont des modèles de traitement du langage naturel de pointe conçus pour comprendre, générer et interagir avec le langage humain. Pour comprendre l’importance des modèles de fondation, il est essentiel d’explorer leurs origines qui découlent des avancées dans le domaine du traitement du langage naturel.

Comprendre le traitement du langage naturel

Le traitement du langage naturel (NLP) est un type d’IA axé sur la compréhension, l’interprétation et la génération du langage humain. Voici quelques cas d’usage courants de traitement du langage naturel :

  • Conversion de parole en texte et conversion de texte par synthèse vocale. Par exemple, générer des sous-titres pour des vidéos.
  • Traduction automatique. Par exemple, traduire du texte de l’anglais vers le japonais.
  • Classification de texte. Par exemple, étiqueter un e-mail comme courrier indésirable ou non.
  • Extraction d’une entité. Par exemple, extraire des mots clés ou des noms à partir d’un document.
  • Résumé de texte. Par exemple, générer un bref résumé d’un paragraphe à partir d’un document de plusieurs pages.
  • Réponse aux questions. Par exemple, fournir des réponses à des questions telles que « Quelle est la capitale de la France ? ».

Remarque

Dans ce module, vous vous concentrez sur la découverte des modèles de fondation utilisés pour les réponses aux questions. Les modèle de fondation que vous explorez peuvent être utilisés pour des applications de conversation dans lesquelles vous utilisez un modèle de langage pour générer une réponse à la question d’un utilisateur.

Comprendre l’importance de l’architecture Transformateur

La dernière percée en matière de traitement du langage naturel est due au développement de l’architecture de Transformeur.

Les transformeurs ont été introduits dans l’article Attention is all you need de Vaswani, et al. en 2017. L’architecture Transformateur a fourni deux innovations à NLP ayant entraîné l’apparition des modèles de fondation :

  • Au lieu du traitement de mots de manière séquentielle, les Transformateurs traitent chaque mot individuellement et en parallèle en utilisant l’attention.
  • Après la similarité sémantique entre des mots, les Transformateurs utilisent le codage positionnel pour inclure les informations sur la position d’un mot dans une phrase.

Les modèles de fondation désignés pour les cas d’utilisation NLP sont souvent appelés Grands modèles de langage (LLM) ou modèles de langage. Ce module explore les modèles de langage disponibles, la sélection d’un modèle pour votre cas d’utilisation et l’utilisation d’un modèle de langage avec le portail Azure AI Foundry. Vous vous concentrez sur les modèles de langage qui vous aident à développer des applications d’IA générative servant d’applications de conversation de type « réponses aux questions » pour répondre aux questions de vos utilisateurs.