Azure OpenAI 저장 완료 및 증류(미리 보기)

아티클
01/22/2025

저장된 완료를 사용하면 채팅 완료 세션에서 평가 및 미세 조정을 위한 데이터 세트로 사용할 대화 기록을 캡처할 수 있습니다 .

저장된 완료 지원

API 지원

2024-10-01-preview

모델 지원

gpt-4o-2024-08-06

국가별 가용성

스웨덴 중부
미국 중북부
미국 동부2

저장된 완료 구성

Azure OpenAI 배포에 대해 저장된 완료를 사용하도록 설정하려면 매개 변수를 store .로 True설정합니다. 매개 변수를 metadata 사용하여 추가 정보를 사용하여 저장된 완료 데이터 세트를 보강합니다.

Python(Microsoft Entra ID)
Python(API 키)

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Important

API 키를 사용하는 경우 Azure Key Vault와 같은 다른 위치에 안전하게 저장합니다. API 키를 코드에 직접 포함하지 말고, 공개적으로 게시하지 마세요.

AI 서비스 보안에 대한 자세한 내용은 Azure AI 서비스에 대한 요청 인증을 참조하세요.

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Azure OpenAI 배포에 대해 저장된 완료를 사용하도록 설정하면 저장된 완료 창의 Azure AI Foundry 포털에 표시되기 시작합니다.

추출

증류를 사용하면 저장된 완성을 미세 조정 데이터 세트로 전환할 수 있습니다. 일반적인 사용 사례는 특정 작업에 대해 더 큰 강력한 모델과 함께 저장된 완성을 사용한 다음 저장된 완성을 사용하여 모델 상호 작용의 고품질 예제에서 더 작은 모델을 학습시키는 것입니다.

증류에는 최소 10개의 저장 완료가 필요하지만 최상의 결과를 위해 수백~수천 개의 저장된 완성을 제공하는 것이 좋습니다.

Azure AI Foundry 포털의 저장된 완료 창에서 필터 옵션을 사용하여 모델을 학습시킬 완성을 선택합니다.
증류를 시작하려면 증류를 선택합니다 .
저장된 완성 데이터 세트를 사용하여 미세 조정하려는 모델을 선택합니다.
미세 조정하려는 모델의 버전을 확인합니다.
.jsonl 임의로 생성된 이름의 파일은 저장된 완료에서 학습 데이터 세트로 만들어집니다. 다음 파일을 >선택합니다.

참고 항목

저장된 완성 증류 학습 파일은 직접 액세스할 수 없으며 외부로 내보내거나 다운로드할 수 없습니다.

나머지 단계는 일반적인 Azure OpenAI 미세 조정 단계에 해당합니다. 자세한 내용은 미세 조정 시작 가이드를 참조하세요.

평가

큰 언어 모델의 평가는 다양한 작업 및 차원에서 성능을 측정하는 중요한 단계입니다. 이는 학습에서 성능 향상(또는 손실)을 평가하는 것이 중요한 미세 조정된 모델에 특히 중요합니다. 철저한 평가는 다양한 버전의 모델이 애플리케이션 또는 시나리오에 미치는 영향을 이해하는 데 도움이 될 수 있습니다.

저장된 완성은 평가를 실행하기 위한 데이터 세트로 사용할 수 있습니다.

Azure AI Foundry 포털의 저장된 완료 창에서 필터 옵션을 사용하여 평가 데이터 세트의 일부가 될 완성을 선택합니다.
평가를 구성하려면 평가 선택
이렇게 하면 저장된 완료에서 평가 데이터 세트로 생성된 임의로 생성된 이름의 미리 채워 .jsonl 진 파일이 있는 평가 창이 시작됩니다.

참고 항목

저장된 완료 평가 데이터 파일은 직접 액세스할 수 없으며 외부로 내보내거나 다운로드할 수 없습니다.

평가에 대한 자세한 내용은 평가를 시작하세요.

문제 해결

저장된 완성을 사용하려면 특별한 권한이 필요합니까?

저장된 완료 액세스는 다음 두 개의 DataActions를 통해 제어됩니다.

Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

기본적으로 Cognitive Services OpenAI Contributor 다음 두 권한 모두에 액세스할 수 있습니다.

저장된 데이터를 삭제할 어떻게 할까요? 있나요?

연결된 Azure OpenAI 리소스를 삭제하여 데이터를 삭제할 수 있습니다. 저장된 완료 데이터만 삭제하려면 고객 지원을 통해 사례를 열어야 합니다.

저장할 수 있는 저장된 완료 데이터의 양

최대 10GB의 데이터를 저장할 수 있습니다.

구독에서 저장된 완료가 활성화되지 않도록 방지할 수 있나요?

구독 수준에서 저장된 완료를 사용하지 않도록 설정하려면 고객 지원으로 사례를 열어야 합니다.

TypeError: Completions.create()에 예기치 않은 인수 'store'가 있습니다.

이 오류는 릴리스되는 저장된 완료 기능보다 이전 버전의 OpenAI 클라이언트 라이브러리를 실행할 때 발생합니다. pip install openai --upgrade를 실행합니다.

다음을 통해 공유