Opgeslagen voltooiingen en distillatie van Azure OpenAI (preview)

Artikel
02/04/2025

Met opgeslagen voltooiingen kunt u de gespreksgeschiedenis van chatvoltooiingssessies vastleggen om te gebruiken als gegevenssets voor evaluaties en afstemming.

Ondersteuning voor opgeslagen voltooiingen

API-ondersteuning

Ondersteuning voor het eerst toegevoegd in 2024-10-01-preview

Beschikbaarheid van modellen en regio's

Regio	o1-preview, 2024-09-12	o1-mini, 2024-09-12	gpt-4o, 2024-08-06	gpt-4o, 2024-05-13	gpt-4o-mini, 2024-07-18
Zweden - centraal	✅	✅	✅	✅	✅
VS - noord-centraal	-	-	✅	-	-
VS - oost 2	-	-	✅	-	-

Opgeslagen voltooiingen configureren

Als u opgeslagen voltooiingen voor uw Azure OpenAI-implementatie wilt inschakelen, stelt u de store parameter in op True. Gebruik de metadata parameter om uw opgeslagen voltooiingsgegevensset te verrijken met aanvullende informatie.

Python (Microsoft Entra-id)
Python (API-sleutel)

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Belangrijk

Als u een API-sleutel gebruikt, slaat u deze veilig op ergens anders op, zoals in Azure Key Vault. Neem de API-sleutel niet rechtstreeks in uw code op en plaats deze nooit openbaar.

Zie Aanvragen verifiëren bij Azure AI-services voor meer informatie over beveiliging van AI-services.

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Zodra opgeslagen voltooiingen zijn ingeschakeld voor een Azure OpenAI-implementatie, worden ze weergegeven in de Azure AI Foundry-portal in het deelvenster Opgeslagen voltooiingen .

Distillatie

Met distillatie kunt u uw opgeslagen voltooiingen omzetten in een nauwkeurige afstemmingsgegevensset. Een veelvoorkomende use-case is het gebruik van opgeslagen voltooiingen met een groter krachtiger model voor een bepaalde taak en vervolgens de opgeslagen voltooiingen gebruiken om een kleiner model te trainen op voorbeelden van modelinteracties van hoge kwaliteit.

Destillatie vereist minimaal 10 opgeslagen voltooiingen, hoewel het wordt aanbevolen om honderden tot duizenden opgeslagen voltooiingen te bieden voor de beste resultaten.

Gebruik in het deelvenster Opgeslagen voltooiingen in de Azure AI Foundry-portal de filteropties om de voltooiingen te selecteren waarmee u uw model wilt trainen.
Als u wilt beginnen met de distillatie, selecteert u Distill
Kies welk model u wilt verfijnen met uw opgeslagen voltooiingsgegevensset.
Controleer welke versie van het model u wilt verfijnen:
Een .jsonl bestand met een willekeurig gegenereerde naam wordt gemaakt als een trainingsgegevensset op basis van uw opgeslagen voltooiingen. Selecteer het bestand >Volgende.

Notitie

Trainingsbestanden voor opgeslagen voltooiingsdestillatie kunnen niet rechtstreeks worden geopend en kunnen niet extern/gedownload worden geëxporteerd.

De rest van de stappen komen overeen met de typische azure OpenAI-afstemmingsstappen. Zie onze handleiding aan de slag voor meer informatie.

Beoordeling

De evaluatie van grote taalmodellen is een belangrijke stap bij het meten van de prestaties voor verschillende taken en dimensies. Dit is vooral belangrijk voor nauwkeurig afgestemde modellen, waarbij het beoordelen van de prestatieverbeteringen (of verliezen) van training cruciaal is. Grondige evaluaties kunnen u helpen inzicht te krijgen in hoe verschillende versies van het model van invloed kunnen zijn op uw toepassing of scenario.

Opgeslagen voltooiingen kunnen worden gebruikt als een gegevensset voor het uitvoeren van evaluaties.

Gebruik in het deelvenster Opgeslagen voltooiingen in de Azure AI Foundry-portal de filteropties om de voltooiingen te selecteren die u wilt toevoegen aan uw evaluatiegegevensset.
Als u de evaluatie wilt configureren, selecteert u Evalueren
Hiermee opent u het deelvenster Evaluaties met een vooraf ingevuld .jsonl bestand met een willekeurig gegenereerde naam die wordt gemaakt als evaluatiegegevensset op basis van uw opgeslagen voltooiingen.

Notitie

Opgeslagen evaluatiegegevensbestanden voor voltooiingsevaluatie kunnen niet rechtstreeks worden geopend en kunnen niet extern/gedownload worden geëxporteerd.

Zie voor meer informatie over evaluatie, aan de slag met evaluaties

Probleemoplossing

Heb ik speciale machtigingen nodig voor het gebruik van opgeslagen voltooiingen?

De toegang tot opgeslagen voltooiingen wordt beheerd via twee DataActions:

Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Cognitive Services OpenAI Contributor Standaard heeft u toegang tot beide machtigingen:

Hoe kan ik opgeslagen gegevens verwijderen?

Gegevens kunnen worden verwijderd door de bijbehorende Azure OpenAI-resource te verwijderen. Als u alleen opgeslagen voltooiingsgegevens wilt verwijderen, moet u een case openen met klantondersteuning.

Hoeveel opgeslagen voltooiingsgegevens kan ik opslaan?

U kunt maximaal 10 GB aan gegevens opslaan.

Kan ik voorkomen dat opgeslagen voltooiingen ooit worden ingeschakeld voor een abonnement?

U moet een case openen met klantondersteuning om op abonnementsniveau opgeslagen voltooiingen uit te schakelen.

TypeError: Completions.create() heeft een onverwacht argument 'store' gekregen

Deze fout treedt op wanneer u een oudere versie van de OpenAI-clientbibliotheek uitvoert die voorafgaat aan de functie voor opgeslagen voltooiingen die wordt uitgebracht. Voer pip install openai --upgrade uit.

Delen via