Explorer l’optimisation de modèles de langage dans Azure AI Studio
Lorsque vous souhaitez optimiser un modèle de langage, vous pouvez utiliser un modèle de base déjà préentraîné sur de grandes quantités de données. Il existe de nombreux modèles de base disponibles dans le catalogue de modèles d’Azure AI Studio. Vous pouvez optimiser les modèles de base sur différentes tâches, telles que la classification de texte, la traduction ou la complétion de conversations.
Lorsque vous souhaitez utiliser un modèle optimisé pour générer des réponses dans une application de conversation, vous devez utiliser un modèle de base qui peut être optimisé sur une tâche de complétion de conversation. Le catalogue de modèles Azure AI Studio vous permet de filtrer en fonction des tâches d’optimisation pour déterminer le modèle de base à sélectionner. Vous pouvez, par exemple, sélectionner un modèle GPT-4 ou Llama-2-7b pour optimiser vos propres données d’entraînement.
Pour optimiser un modèle de langage du catalogue de modèles d’Azure AI Foundry, vous pouvez utiliser l’interface utilisateur fournie dans le portail.
Sélectionnez le modèle de base
Lorsque vous accédez au catalogue de modèles dans le portail Azure AI Foundry, vous pouvez explorer tous les modèles linguistiques disponibles.
Remarque
Bien que tous les modèles de langage disponibles figurent dans le catalogue de modèles d’Azure AI Foundry, vous risquez de ne pas pouvoir optimiser le modèle souhaité en fonction du quota disponible. Vérifiez que le modèle que vous souhaitez optimiser est disponible dans la région dans laquelle vous avez créé votre hub IA.
Vous pouvez filtrer les modèles disponibles en fonction de la tâche pour laquelle vous voulez optimiser un modèle. Pour chaque tâche, vous avez le choix entre plusieurs modèles de base. Quand vous choisissez entre plusieurs modèles de base pour une tâche, vous pouvez examiner la description du modèle et la carte du modèle référencé.
Voici quelques points que vous pouvez prendre en considération lors du choix d’un modèle de base avant optimisation :
- Capacités du modèle : évaluez les capacités du modèle de base et comment il s’aligne avec votre tâche. Par exemple, un modèle comme BERT est mieux adapté à la compréhension de textes courts.
- Données de préentraînement : considérez le jeu de données utilisé pour le préentraînement du modèle de base. Par exemple, GPT-2 est entraîné sur du contenu non filtré provenant d’Internet, ce qui peut entraîner des biais.
- Limitations et biais : tenez compte des limitations ou des biais qui peuvent être présents dans le modèle de base.
- Prise en charge linguistique : recherchez quels modèles offrent la prise en charge linguistique spécifique ou les fonctionnalités multilingues dont vous avez besoin pour votre cas d’usage.
Conseil
Le portail Azure AI Foundry vous fournit des descriptions pour chaque modèle de base dans le catalogue de modèles, mais vous pouvez également trouver plus d’informations sur chaque modèle via leur carte de modèle respective. Les cartes de modèle sont référencées dans la vue d’ensemble de chaque modèle et hébergées sur le site web de Hugging Face.
Configurer le travail d’optimisation
Pour configurer un travail d’optimisation en utilisant le portail Azure AI Foundry, vous devez effectuer les étapes suivantes :
- Sélectionner un modèle de base.
- Sélectionner vos données d’entraînement.
- (facultatif) Sélectionnez vos données de validation.
- Configurez les options avancées.
Lorsque vous envoyez un modèle pour optimisation, le modèle est entraîné davantage sur vos données. Pour configurer le travail d’optimisation ou d’entraînement, vous pouvez spécifier les options avancées suivantes :
| Nom | Description |
|---|---|
| batch_size | Taille de lot à utiliser pour la formation. La taille du lot est le nombre d’exemples de la formation utilisés pour entraîner un seul passage avant et arrière. En général, les tailles de lot plus grandes ont tendance à mieux fonctionner pour les jeux de données plus grands. La valeur par défaut et la valeur maximale de cette propriété sont spécifiques à un modèle de base. Une taille de lot plus grande signifie que les paramètres de modèle sont mis à jour moins souvent, mais avec une variance plus faible. |
| learning_rate_multiplier | Multiplicateur de taux de formation à utiliser pour la formation. Le taux d’apprentissage de l’optimisation est le taux d’apprentissage d’origine utilisé pour le préentraînement multiplié par cette valeur. Les taux d’apprentissage plus importants ont tendance à mieux fonctionner que les tailles de lot plus grandes. Nous vous recommandons d’expérimenter des valeurs comprises entre 0,02 et 0,2 pour voir ce qui produit les meilleurs résultats. Un taux d’apprentissage plus faible peut être utile pour éviter un surajustement. |
| n_epochs | Nombre d’époques pour lequel effectuer la formation du modèle. Une époque fait référence à un cycle complet dans le jeu de données de formation. |
| seed | Le seed contrôle la reproductibilité du travail. La transmission des mêmes paramètres de travail et seed doit produire les mêmes résultats, mais peut différer dans de rares cas. Si aucune valeur initiale n’est spécifiée, une valeur est générée pour vous. |
Une fois que vous avez soumis le travail d’optimisation, un travail est créé pour entraîner votre modèle. Vous pouvez consulter l’état du travail pendant son exécution. Une fois le travail terminé, vous pouvez passer en revue les paramètres d’entrée lorsque vous souhaitez comprendre comment le modèle optimisé a été créé.
Si vous avez ajouté un jeu de données de validation, vous pouvez examiner les performances du modèle en explorant la façon dont il a été traité sur votre jeu de données de validation.
Sinon, vous pouvez toujours déployer un modèle optimisé. Après avoir déployé le modèle, vous pouvez le tester pour évaluer ses performances. Lorsque vous êtes satisfait de votre modèle optimisé, vous pouvez intégrer le modèle déployé à votre application de conversation.