Saisies semi-automatiques stockées et distillation dans Azure OpenAI (préversion)

Article
02/24/2025

Les saisies semi-automatiques stockées vous permettent de capturer l’historique des conversations à partir des sessions de saisie semi-automatique de conversations pour les utiliser comme jeux de données pour les évaluations et l’ajustement.

Prise en charge des saisies semi-automatiques stockées

Prise en charge des API

Prise en charge ajoutée pour la première fois dans 2024-10-01-preview

Type de déploiement

Seuls les déploiements de modèle Standard prennent actuellement en charge les completions stockées.

Modèle et disponibilité dans les régions

Région	o1-preview, 2024-09-12	o1-mini, 2024-09-12	gpt-4o, 2024-08-06	gpt-4o, 2024-05-13	gpt-4o-mini, 2024-07-18
Suède Centre	✅	✅	✅	✅	✅
Centre-Nord des États-Unis	-	-	✅	-	-
USA Est 2	-	-	✅	-	-

Configurer les saisies semi-automatiques stockées

Pour activer les saisies semi-automatiques stockées pour votre déploiement Azure OpenAI, définissez le paramètre store sur True. Utilisez le paramètre metadata pour enrichir votre jeu de données de saisie semi-automatique stockée avec des informations supplémentaires.

Python (Microsoft Entra ID)
Python (clé API)

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Important

Utilisez les clés API avec prudence. N'incluez pas la clé API directement dans votre code et ne la diffusez jamais publiquement. Si vous utilisez une clé API, stockez-la en lieu sûr dans Azure Key Vault. Pour découvrir plus d’informations sur l’utilisation sécurisée des clés API dans vos applications, consultez Clés API avec Azure Key Vault.

Pour découvrir plus d’informations sur la sécurité des services IA, consultez Authentifier les requêtes auprès d’Azure AI services.

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Une fois les saisies semi-automatiques stockées activées pour un déploiement Azure OpenAI, elles commencent à apparaître dans le portail Azure AI Foundry dans le volet Saisies semi-automatiques stockées.

Distillation

La distillation vous permet de transformer vos saisies semi-automatiques stockées en un jeu de données précis. Un cas d’usage courant consiste à utiliser des saisies semi-automatiques stockées avec un modèle plus puissant pour une tâche particulière, puis à utiliser les saisies semi-automatiques stockées pour former un modèle plus petit sur des exemples d’interactions de modèle de haute qualité.

La distillation nécessite un minimum de 10 saisies semi-automatiques stockées, mais il est recommandé de fournir des centaines à des milliers de saisies semi-automatiques stockées pour obtenir de meilleurs résultats.

Dans le volet Saisies semi-automatiques stockées dans le portail Azure AI Foundry utilisez les options de filtre pour sélectionner les saisies semi-automatiques avec lesquelles vous souhaitez former votre modèle.
Pour commencer la distillation, sélectionnez Distiller
Choisissez le modèle que vous souhaitez affiner avec votre jeu de données de saisies semi-automatiques stockées.
Vérifiez la version du modèle que vous souhaitez affiner :
Un fichier .jsonl avec un nom généré de manière aléatoire sera créé en tant que jeu de données de formation à partir de vos saisies semi-automatiques stockées. Sélectionnez le fichier >Suivant.

Remarque

Il est impossible d’accéder directement aux fichiers de formation de la distillation de saisies semi-automatiques stockées et ces fichiers ne peuvent pas être exportés en externe ou téléchargés.

Le reste des étapes correspond aux étapes standard d’optimisation d’Azure OpenAI. Pour en savoir plus, consultez notre guide de prise en main de l’optimisation.

Évaluation

L’évaluation des grands modèles de langage est une étape essentielle pour mesurer leurs performances sur différentes tâches et dimensions. Cela est particulièrement important pour les modèles affinés, où l’évaluation des gains de performance (ou pertes) de l’entraînement est cruciale. Des évaluations approfondies peuvent vous aider à comprendre comment différentes versions du modèle peuvent avoir un impact sur votre application ou votre scénario.

Les saisies semi-automatiques stockées peuvent être utilisées comme jeu de données pour l’exécution d’évaluations.

Dans le volet Saisies semi-automatiques stockées dans le portail Azure AI Foundry utilisez les options de filtre pour sélectionner les saisies semi-automatiques que vous souhaitez intégrer à votre jeu de données.
Pour configurer l’évaluation, sélectionnez Évaluer
Cette opération lance le volet Évaluations avec un fichier .jsonl prérempli avec un nom généré de manière aléatoire qui est créé en tant que jeu de données d’évaluation à partir de vos saisies semi-automatiques stockées.

Remarque

Il est impossible d’accéder directement aux fichiers de données d’évaluation de saisies semi-automatiques stockées et ces fichiers ne peuvent pas être exportés en externe ou téléchargés.

Pour en savoir plus sur l’évaluation, consultez Bien démarrer avec les évaluations

Dépannage

Ai-je besoin d’autorisations spéciales pour utiliser les saisies semi-automatiques stockées ?

L’accès aux saisies semi-automatiques stockées est contrôlé via deux actions DataActions :

Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Par défaut, Cognitive Services OpenAI Contributor a accès à ces deux autorisations :

Comment supprimer des données stockées ?

Les données peuvent être supprimées en supprimant la ressource Azure OpenAI associée. Si vous souhaitez supprimer uniquement les données de saisie semi-automatique stockée, vous devez ouvrir un ticket auprès du support client.

Combien de données de puis-je stocker ?

Vous pouvez stocker un maximum de 10 Go de données.

Puis-je empêcher l’activation de la saisie semi-automatique stockée sur un abonnement ?

Vous devez ouvrir un ticket auprès du support client pour désactiver les saisies semi-automatiques stockées au niveau de l’abonnement.

TypeError : Completions.create() a obtenu un argument inattendu « store » (stocker)

Cette erreur se produit lorsque vous exécutez une version antérieure de la bibliothèque cliente OpenAI qui précède la fonctionnalité de saisie semi-automatique stockée en cours de publication. Exécutez pip install openai --upgrade.

Partage via