Delen via

Aan de slag met Azure OpenAI-assistenten (preview)

  • Artikel

Met Azure OpenAI-assistenten (preview) kunt u AI-assistenten maken die zijn afgestemd op uw behoeften via aangepaste instructies en uitgebreid met geavanceerde hulpprogramma's zoals code-interpreter en aangepaste functies. In dit artikel bieden we een uitgebreid overzicht van hoe u aan de slag gaat met de Api voor assistenten.

Notitie

  • Bestanden zoeken kan maximaal 10.000 bestanden per assistent opnemen - 500 keer meer dan voorheen. Het is snel, ondersteunt parallelle query's via zoekopdrachten met meerdere threads en biedt uitgebreide herrankering en herschrijven van query's.
    • Vectoropslag is een nieuw object in de API. Zodra een bestand is toegevoegd aan een vectoropslag, wordt het automatisch geparseerd, gesegmenteerd en ingesloten, zodat het kan worden doorzocht. Vectoropslag kunnen worden gebruikt voor assistenten en threads, waardoor bestandsbeheer en facturering worden vereenvoudigd.
  • We hebben ondersteuning toegevoegd voor de tool_choice parameter die kan worden gebruikt om het gebruik van een specifiek hulpprogramma (zoals het zoeken van bestanden, code-interpreter of een functie) in een bepaalde uitvoering af te dwingen.

Ondersteuning voor assistenten

Ondersteuning voor regio's en modellen

Code-interpreter is beschikbaar in alle regio's die worden ondersteund door Azure OpenAI-assistenten. De modellenpagina bevat de meest recente informatie over regio's/modellen waar assistenten momenteel worden ondersteund.

API-versies

  • 2024-02-15-preview
  • 2024-05-01-preview

Ondersteunde bestandstypen

File format MIME-type Code-interpreter
c. tekst/x-c ✅
.Cpp text/x-c++ ✅
.csv application/csv ✅
.docx application/vnd.openxmlformats-officedocument.wordprocessingml.document ✅
.html text/html ✅
.java text/x-java ✅
.json application/json ✅
.md text/markdown ✅
.pdf toepassing/pdf ✅
.php text/x-php ✅
.pptx application/vnd.openxmlformats-officedocument.presentationml.presentation ✅
.py text/x-python ✅
.py text/x-script.python ✅
.Rb text/x-ruby ✅
.Tex tekst/x-tex ✅
.txt text/plain ✅
.Css text/css ✅
.jpeg image/jpeg ✅
.jpg image/jpeg ✅
.js text/javascript ✅
.gif image/gif ✅
.png image/png ✅
.teer application/x-tar ✅
.Ts toepassing/typescript ✅
.xlsx application/vnd.openxmlformats-officedocument.spreadsheetml.sheet ✅
.xml application/xml of "text/xml" ✅
.zip toepassing/zip ✅

Hulpprogramma's

Tip

We hebben ondersteuning toegevoegd voor de tool_choice parameter die kan worden gebruikt om het gebruik van een specifiek hulpprogramma (zoals file_search, code_interpreterof een function) in een bepaalde uitvoering af te dwingen.

Een afzonderlijke assistent heeft toegang tot maximaal 128 hulpprogramma's, waaronder code-interpreter en bestandszoekopdrachten, maar u kunt ook uw eigen aangepaste hulpprogramma's definiëren via functies.

Bestanden

Bestanden kunnen via Studio of programmatisch worden geüpload. De file_ids parameter is vereist om hulpprogramma's zoals code_interpreter toegang tot bestanden te geven. Wanneer u het eindpunt voor het uploaden van bestanden gebruikt, moet u beschikken over de purpose set assistenten die moeten worden gebruikt met de Assistenten-API.

Speeltuin voor assistenten

We bieden een overzicht van de assistentspeeltuin in onze quickstartgids. Dit biedt een omgeving zonder code om de mogelijkheden van assistenten te testen.

Onderdelen van assistenten

Onderdeel Beschrijving
Assistent Aangepaste AI die gebruikmaakt van Azure OpenAI-modellen in combinatie met hulpprogramma's.
Draad Een gesprekssessie tussen een assistent en een gebruiker. Threads slaan berichten op en verwerken automatisch afkapping zodat inhoud in de context van een model past.
Bericht Een bericht dat is gemaakt door een assistent of een gebruiker. Berichten kunnen tekst, afbeeldingen en andere bestanden bevatten. Berichten worden opgeslagen als een lijst op de thread.
Rennen Activering van een assistent om te beginnen met uitvoeren op basis van de inhoud van de thread. De assistent gebruikt de configuratie en de berichten van de thread om taken uit te voeren door modellen en hulpprogramma's aan te roepen. Als onderdeel van een uitvoering voegt de assistent berichten toe aan de thread.
Stap uitvoeren Een gedetailleerde lijst met stappen die de assistent heeft uitgevoerd als onderdeel van een uitvoering. Een assistent kan hulpprogramma's aanroepen of berichten maken tijdens de uitvoering. Als u de uitvoeringsstappen bekijkt, kunt u begrijpen hoe de assistent de uiteindelijke resultaten krijgt.

Uw eerste assistent instellen

Een assistent maken

In dit voorbeeld maken we een assistent die code schrijft om visualisaties te genereren met behulp van de mogelijkheden van het code_interpreter hulpprogramma. De onderstaande voorbeelden zijn bedoeld om sequentieel uit te voeren in een omgeving zoals Jupyter Notebooks.

import os
import json
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-05-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

# Create an assistant
assistant = client.beta.assistants.create(
    name="Data Visualization",
    instructions=f"You are a helpful AI assistant who makes interesting visualizations based on data." 
    f"You have access to a sandboxed environment for writing and testing code."
    f"When you are asked to create a visualization you should follow these steps:"
    f"1. Write the code."
    f"2. Anytime you write new code display a preview of the code to show your work."
    f"3. Run the code to confirm that it runs."
    f"4. If the code is successful display the visualization."
    f"5. If the code is unsuccessful display the error message and try to revise the code and rerun going through the steps from above again.",
    tools=[{"type": "code_interpreter"}],
    model="gpt-4-1106-preview" #You must replace this value with the deployment name for your model.
)

Er zijn enkele details die u moet noteren uit de bovenstaande configuratie:

  • We stellen deze assistent in staat om code-interpreter met de regel tools=[{"type": "code_interpreter"}],te openen. Dit geeft het model toegang tot een python-omgeving met zandvakken om code uit te voeren en uit te voeren om antwoorden op de vraag van een gebruiker te formuleren.
  • In de instructies herinneren we het model eraan dat het code kan uitvoeren. Soms heeft het model hulp nodig bij het begeleiden van het juiste hulpprogramma om een bepaalde query op te lossen. Als u weet dat u een bepaalde bibliotheek wilt gebruiken om een bepaald antwoord te genereren dat u kent deel uitmaakt van de code-interpreter, kan het helpen om hulp te bieden door iets te zeggen als 'Matplotlib gebruiken om x uit te voeren'.
  • Omdat dit Azure OpenAI is, moet de waarde die u invoert model= overeenkomen met de implementatienaam.

Vervolgens gaan we de inhoud van de assistent afdrukken die we zojuist hebben gemaakt om te bevestigen dat het maken is geslaagd:

print(assistant.model_dump_json(indent=2))

{
  "id": "asst_7AZSrv5I3XzjUqWS40X5UgRr",
  "created_at": 1705972454,
  "description": null,
  "file_ids": [],
  "instructions": "You are a helpful AI assistant who makes interesting visualizations based on data.You have access to a sandboxed environment for writing and testing code.When you are asked to create a visualization you should follow these steps:1. Write the code.2. Anytime you write new code display a preview of the code to show your work.3. Run the code to confirm that it runs.4. If the code is successful display the visualization.5. If the code is unsuccessful display the error message and try to revise the code and rerun going through the steps from above again.",
  "metadata": {},
  "model": "gpt-4-1106-preview",
  "name": "Data Visualization",
  "object": "assistant",
  "tools": [
    {
      "type": "code_interpreter"
    }
  ]
}

Een thread maken

We gaan nu een thread maken.

# Create a thread
thread = client.beta.threads.create()
print(thread)

Thread(id='thread_6bunpoBRZwNhovwzYo7fhNVd', created_at=1705972465, metadata={}, object='thread')

Een thread is in feite de record van de gesprekssessie tussen de assistent en de gebruiker. Het is vergelijkbaar met de berichtenmatrix/-lijst in een typische API-aanroep voor chatvoltooiing. Een van de belangrijkste verschillen, is in tegenstelling tot een berichtenmatrix voor voltooiing van een chat, u hoeft geen tokens bij te houden bij elke aanroep om ervoor te zorgen dat u onder de contextlengte van het model blijft. Threads abstraheren deze beheerdetails en comprimeren zo nodig de threadgeschiedenis om het gesprek door te laten gaan. De mogelijkheid voor threads om dit te bereiken met grotere gesprekken is verbeterd bij het gebruik van de nieuwste modellen, met grotere contextlengten en ondersteuning voor de nieuwste functies.

Maak vervolgens de eerste gebruikersvraag die u aan de thread wilt toevoegen.

# Add a user question to the thread
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="Create a visualization of a sinewave"
)

Threadberichten weergeven

thread_messages = client.beta.threads.messages.list(thread.id)
print(thread_messages.model_dump_json(indent=2))

{
  "data": [
    {
      "id": "msg_JnkmWPo805Ft8NQ0gZF6vA2W",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Create a visualization of a sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705972476,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_6bunpoBRZwNhovwzYo7fhNVd"
    }
  ],
  "object": "list",
  "first_id": "msg_JnkmWPo805Ft8NQ0gZF6vA2W",
  "last_id": "msg_JnkmWPo805Ft8NQ0gZF6vA2W",
  "has_more": false
}

Thread uitvoeren

run = client.beta.threads.runs.create(
  thread_id=thread.id,
  assistant_id=assistant.id,
  #instructions="New instructions" #You can optionally provide new instructions but these will override the default instructions
)

We kunnen hier ook een instructions parameter doorgeven, maar dit overschrijft de bestaande instructies die we al hebben opgegeven voor de assistent.

Threadstatus ophalen

# Retrieve the status of the run
run = client.beta.threads.runs.retrieve(
  thread_id=thread.id,
  run_id=run.id
)

status = run.status
print(status)

completed

Afhankelijk van de complexiteit van de query die u uitvoert, kan het langer duren voordat de thread wordt uitgevoerd. In dat geval kunt u een lus maken om de uitvoeringsstatus van de thread te bewaken met code, zoals in het onderstaande voorbeeld:

import time
from IPython.display import clear_output

start_time = time.time()

status = run.status

while status not in ["completed", "cancelled", "expired", "failed"]:
    time.sleep(5)
    run = client.beta.threads.runs.retrieve(thread_id=thread.id,run_id=run.id)
    print("Elapsed time: {} minutes {} seconds".format(int((time.time() - start_time) // 60), int((time.time() - start_time) % 60)))
    status = run.status
    print(f'Status: {status}')
    clear_output(wait=True)

messages = client.beta.threads.messages.list(
  thread_id=thread.id
) 

print(f'Status: {status}')
print("Elapsed time: {} minutes {} seconds".format(int((time.time() - start_time) // 60), int((time.time() - start_time) % 60)))
print(messages.model_dump_json(indent=2))

Wanneer een uitvoering of in_progress in andere niet-terminale toestanden is, wordt de thread vergrendeld. Wanneer een thread is vergrendeld, kunnen nieuwe berichten niet worden toegevoegd en kunnen er geen nieuwe uitvoeringen worden gemaakt.

Berichten in threads weergeven die worden uitgevoerd

Zodra de uitvoeringsstatus aangeeft dat de uitvoering is voltooid, kunt u de inhoud van de thread opnieuw weergeven om het antwoord van het model en alle hulpprogramma's op te halen:

messages = client.beta.threads.messages.list(
  thread_id=thread.id
)

print(messages.model_dump_json(indent=2))

{
  "data": [
    {
      "id": "msg_M5pz73YFsJPNBbWvtVs5ZY3U",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Is there anything else you would like to visualize or any additional features you'd like to add to the sine wave plot?"
          },
          "type": "text"
        }
      ],
      "created_at": 1705967782,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_AGQHJrrfV3eM0eI9T3arKgYY",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_oJbUanImBRpRran5HSa4Duy4",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "image_file": {
            "file_id": "assistant-1YGVTvNzc2JXajI5JU9F0HMD"
          },
          "type": "image_file"
        },
        {
          "text": {
            "annotations": [],
            "value": "Here is the visualization of a sine wave: \n\nThe wave is plotted using values from 0 to \\( 4\\pi \\) on the x-axis, and the corresponding sine values on the y-axis. I've also added grid lines for easier reading of the plot."
          },
          "type": "text"
        }
      ],
      "created_at": 1705967044,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_8PsweDFn6gftUd91H87K0Yts",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Create a visualization of a sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705966634,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    }
  ],
  "object": "list",
  "first_id": "msg_M5pz73YFsJPNBbWvtVs5ZY3U",
  "last_id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
  "has_more": false
}

Bestands-id ophalen

We hadden gevraagd dat het model een afbeelding van een sinusgolf genereert. Als u de installatiekopieën wilt downloaden, moeten we eerst de bestands-id van de installatiekopieën ophalen.

data = json.loads(messages.model_dump_json(indent=2))  # Load JSON data into a Python object
image_file_id = data['data'][0]['content'][0]['image_file']['file_id']

print(image_file_id)  # Outputs: assistant-1YGVTvNzc2JXajI5JU9F0HMD

Installatiekopie downloaden

content = client.files.content(image_file_id)

image= content.write_to_file("sinewave.png")

Open de afbeelding lokaal zodra deze is gedownload:

from PIL import Image

# Display the image in the default image viewer
image = Image.open("sinewave.png")
image.show()

Schermopname van code-interpreter gegenereerde sinusgolf.

Een vervolgvraag stellen over de thread

Omdat de assistent onze instructies niet helemaal heeft gevolgd en de code opneemt die in het tekstgedeelte van het antwoord is uitgevoerd, kan expliciet om die informatie worden gevraagd.

# Add a new user question to the thread
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="Show me the code you used to generate the sinewave"
)

Opnieuw moeten we de status van de thread uitvoeren en ophalen:

run = client.beta.threads.runs.create(
  thread_id=thread.id,
  assistant_id=assistant.id,
  #instructions="New instructions" #You can optionally provide new instructions  but these will override the default instructions
)

# Retrieve the status of the run
run = client.beta.threads.runs.retrieve(
  thread_id=thread.id,
  run_id=run.id
)

status = run.status
print(status)


completed

Zodra de uitvoeringsstatus is voltooid, geven we de berichten weer in de thread die nu het antwoord op onze laatste vraag moeten bevatten.

messages = client.beta.threads.messages.list(
  thread_id=thread.id
)

print(messages.model_dump_json(indent=2))

{
  "data": [
    {
      "id": "msg_oaF1PUeozAvj3KrNnbKSy4LQ",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Certainly, here is the code I used to generate the sine wave visualization:\n\n```python\nimport numpy as np\nimport matplotlib.pyplot as plt\n\n# Generating data for the sinewave\nx = np.linspace(0, 4 * np.pi, 1000)  # Generate values from 0 to 4*pi\ny = np.sin(x)  # Compute the sine of these values\n\n# Plotting the sine wave\nplt.plot(x, y)\nplt.title('Sine Wave')\nplt.xlabel('x')\nplt.ylabel('sin(x)')\nplt.grid(True)\nplt.show()\n```\n\nThis code snippet uses `numpy` to generate an array of x values and then computes the sine for each x value. It then uses `matplotlib` to plot these values and display the resulting graph."
          },
          "type": "text"
        }
      ],
      "created_at": 1705969710,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_oDS3fH7NorCUVwROTZejKcZN",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_moYE3aNwFYuRq2aXpxpt2Wb0",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Show me the code you used to generate the sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705969678,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_M5pz73YFsJPNBbWvtVs5ZY3U",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Is there anything else you would like to visualize or any additional features you'd like to add to the sine wave plot?"
          },
          "type": "text"
        }
      ],
      "created_at": 1705967782,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_AGQHJrrfV3eM0eI9T3arKgYY",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_oJbUanImBRpRran5HSa4Duy4",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "image_file": {
            "file_id": "assistant-1YGVTvNzc2JXajI5JU9F0HMD"
          },
          "type": "image_file"
        },
        {
          "text": {
            "annotations": [],
            "value": "Here is the visualization of a sine wave: \n\nThe wave is plotted using values from 0 to \\( 4\\pi \\) on the x-axis, and the corresponding sine values on the y-axis. I've also added grid lines for easier reading of the plot."
          },
          "type": "text"
        }
      ],
      "created_at": 1705967044,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_8PsweDFn6gftUd91H87K0Yts",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Create a visualization of a sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705966634,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    }
  ],
  "object": "list",
  "first_id": "msg_oaF1PUeozAvj3KrNnbKSy4LQ",
  "last_id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
  "has_more": false
}

Alleen het antwoord op onze laatste vraag extraheren:

data = json.loads(messages.model_dump_json(indent=2))
code = data['data'][0]['content'][0]['text']['value']
print(code)

Dit is zeker de code die ik heb gebruikt om de sinusgolfvisualisatie te genereren:

import numpy as np
import matplotlib.pyplot as plt

# Generating data for the sinewave
x = np.linspace(0, 4 * np.pi, 1000)  # Generate values from 0 to 4*pi
y = np.sin(x)  # Compute the sine of these values

# Plotting the sine wave
plt.plot(x, y)
plt.title('Sine Wave')
plt.xlabel('x')
plt.ylabel('sin(x)')
plt.grid(True)
plt.show()

Donkere modus

Laten we een laatste vraag aan de thread toevoegen om te zien of de code-interpreter de grafiek kan omwisselen naar de donkere modus voor ons.

# Add a user question to the thread
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="I prefer visualizations in darkmode can you change the colors to make a darkmode version of this visualization."
)

# Run the thread
run = client.beta.threads.runs.create(
  thread_id=thread.id,
  assistant_id=assistant.id,
)

# Retrieve the status of the run
run = client.beta.threads.runs.retrieve(
  thread_id=thread.id,
  run_id=run.id
)

status = run.status
print(status)

completed

messages = client.beta.threads.messages.list(
  thread_id=thread.id
)

print(messages.model_dump_json(indent=2))

{
  "data": [
    {
      "id": "msg_KKzOHCArWGvGpuPo0pVZTHgV",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "You're viewing the dark mode version of the sine wave visualization in the image above. The plot is set against a dark background with a cyan colored sine wave for better contrast and visibility. If there's anything else you'd like to adjust or any other assistance you need, feel free to let me know!"
          },
          "type": "text"
        }
      ],
      "created_at": 1705971199,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_izZFyTVB1AlFM1VVMItggRn4",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_30pXFVYNgP38qNEMS4Zbozfk",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "I prefer visualizations in darkmode can you change the colors to make a darkmode version of this visualization."
          },
          "type": "text"
        }
      ],
      "created_at": 1705971194,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_3j31M0PaJLqO612HLKVsRhlw",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "image_file": {
            "file_id": "assistant-kfqzMAKN1KivQXaEJuU0u9YS"
          },
          "type": "image_file"
        },
        {
          "text": {
            "annotations": [],
            "value": "Here is the dark mode version of the sine wave visualization. I've used the 'dark_background' style in Matplotlib and chosen a cyan color for the plot line to ensure it stands out against the dark background."
          },
          "type": "text"
        }
      ],
      "created_at": 1705971123,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_B91erEPWro4bZIfryQeIDDlx",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_FgDZhBvvM1CLTTFXwgeJLdua",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "I prefer visualizations in darkmode can you change the colors to make a darkmode version of this visualization."
          },
          "type": "text"
        }
      ],
      "created_at": 1705971052,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_oaF1PUeozAvj3KrNnbKSy4LQ",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Certainly, here is the code I used to generate the sine wave visualization:\n\n```python\nimport numpy as np\nimport matplotlib.pyplot as plt\n\n# Generating data for the sinewave\nx = np.linspace(0, 4 * np.pi, 1000)  # Generate values from 0 to 4*pi\ny = np.sin(x)  # Compute the sine of these values\n\n# Plotting the sine wave\nplt.plot(x, y)\nplt.title('Sine Wave')\nplt.xlabel('x')\nplt.ylabel('sin(x)')\nplt.grid(True)\nplt.show()\n```\n\nThis code snippet uses `numpy` to generate an array of x values and then computes the sine for each x value. It then uses `matplotlib` to plot these values and display the resulting graph."
          },
          "type": "text"
        }
      ],
      "created_at": 1705969710,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_oDS3fH7NorCUVwROTZejKcZN",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_moYE3aNwFYuRq2aXpxpt2Wb0",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Show me the code you used to generate the sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705969678,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_M5pz73YFsJPNBbWvtVs5ZY3U",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Is there anything else you would like to visualize or any additional features you'd like to add to the sine wave plot?"
          },
          "type": "text"
        }
      ],
      "created_at": 1705967782,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_AGQHJrrfV3eM0eI9T3arKgYY",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_oJbUanImBRpRran5HSa4Duy4",
      "assistant_id": "asst_eHwhP4Xnad0bZdJrjHO2hfB4",
      "content": [
        {
          "image_file": {
            "file_id": "assistant-1YGVTvNzc2JXajI5JU9F0HMD"
          },
          "type": "image_file"
        },
        {
          "text": {
            "annotations": [],
            "value": "Here is the visualization of a sine wave: \n\nThe wave is plotted using values from 0 to \\( 4\\pi \\) on the x-axis, and the corresponding sine values on the y-axis. I've also added grid lines for easier reading of the plot."
          },
          "type": "text"
        }
      ],
      "created_at": 1705967044,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "assistant",
      "run_id": "run_8PsweDFn6gftUd91H87K0Yts",
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    },
    {
      "id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
      "assistant_id": null,
      "content": [
        {
          "text": {
            "annotations": [],
            "value": "Create a visualization of a sinewave"
          },
          "type": "text"
        }
      ],
      "created_at": 1705966634,
      "file_ids": [],
      "metadata": {},
      "object": "thread.message",
      "role": "user",
      "run_id": null,
      "thread_id": "thread_ow1Yv29ptyVtv7ixbiKZRrHd"
    }
  ],
  "object": "list",
  "first_id": "msg_KKzOHCArWGvGpuPo0pVZTHgV",
  "last_id": "msg_Pu3eHjM10XIBkwqh7IhnKKdG",
  "has_more": false
}

Pak de id van het nieuwe afbeeldingsbestand uit en download en geef de afbeelding weer:

data = json.loads(messages.model_dump_json(indent=2))  # Load JSON data into a Python object
image_file_id = data['data'][0]['content'][0]['image_file']['file_id'] # index numbers can vary if you have had a different conversation over the course of the thread.

print(image_file_id)

content = client.files.content(image_file_id)
image= content.write_to_file("dark_sine.png")

# Display the image in the default image viewer
image = Image.open("dark_sine.png")
image.show()

Schermopname van code-interpreter gegenereerde sinusgolf in donkere modus.

Aanvullende naslaginformatie

Statusdefinities uitvoeren

-Status Definition
queued Wanneer uitvoeringen voor het eerst worden gemaakt of wanneer u de required_action voltooit, worden ze verplaatst naar een status in de wachtrij. Ze moeten bijna onmiddellijk naar in_progress gaan.
in_progress Tijdens in_progress gebruikt de assistent het model en de hulpprogramma's om stappen uit te voeren. U kunt de voortgang van de uitvoering bekijken door de stappen voor uitvoeren te bekijken.
completed De uitvoering is voltooid. U kunt nu alle berichten bekijken die de assistent aan de thread heeft toegevoegd en alle stappen die de uitvoering heeft uitgevoerd. U kunt het gesprek ook voortzetten door meer gebruikersberichten toe te voegen aan de thread en een andere uitvoering te maken.
requires_action Wanneer u het hulpprogramma Functie aanroepen gebruikt, wordt de uitvoering verplaatst naar een required_action status zodra het model de namen en argumenten van de functies bepaalt die moeten worden aangeroepen. Vervolgens moet u deze functies uitvoeren en de uitvoer indienen voordat de uitvoering wordt uitgevoerd. Als de uitvoer niet wordt opgegeven voordat de expires_at tijdstempel passeert (ongeveer 10 minuten na het maken), wordt de uitvoering verplaatst naar een verlopen status.
expired Dit gebeurt wanneer de uitvoer van de functieaanroepen niet is verzonden voordat expires_at en de uitvoering verloopt. Als het uitvoeren van de uitvoeringen te lang duurt en verder gaat dan de in expires_at vermelde tijd, verlopen onze systemen de uitvoering.
cancelling U kunt proberen een in_progress uitvoering te annuleren met behulp van het eindpunt Uitvoeren annuleren. Zodra de poging om te annuleren is voltooid, wordt de status van de uitvoering verplaatst naar geannuleerd. Annuleren wordt geprobeerd, maar niet gegarandeerd.
cancelled De uitvoering is geannuleerd.
failed U kunt de reden voor de fout bekijken door naar het last_error object in uitvoeren te kijken. De tijdstempel voor de fout wordt vastgelegd onder failed_at.

Berichtaantekeningen

Aantekeningen in assistentberichten verschillen van de inhoudsfilteraantekeningen die aanwezig zijn in voltooiings- en CHAT-voltooiings-API-antwoorden. Assistentaantekeningen kunnen voorkomen in de inhoudsmatrix van het object. Aantekeningen bevatten informatie over hoe u aantekeningen moet maken in de tekst in de antwoorden op de gebruiker.

Wanneer aantekeningen aanwezig zijn in de inhoudsmatrix Bericht, ziet u onleesbare door het model gegenereerde subtekenreeksen in de tekst die u moet vervangen door de juiste aantekeningen. Deze tekenreeksen kunnen er ongeveer als 【13†source】 volgt uitzien.sandbox:/mnt/data/file.csv Hier volgt een Python-codefragment van OpenAI dat deze tekenreeksen vervangt door de informatie die aanwezig is in de aantekeningen.


from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-05-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

# Retrieve the message object
message = client.beta.threads.messages.retrieve(
  thread_id="...",
  message_id="..."
)

# Extract the message content
message_content = message.content[0].text
annotations = message_content.annotations
citations = []

# Iterate over the annotations and add footnotes
for index, annotation in enumerate(annotations):
    # Replace the text with a footnote
    message_content.value = message_content.value.replace(annotation.text, f' [{index}]')

    # Gather citations based on annotation attributes
    if (file_citation := getattr(annotation, 'file_citation', None)):
        cited_file = client.files.retrieve(file_citation.file_id)
        citations.append(f'[{index}] {file_citation.quote} from {cited_file.filename}')
    elif (file_path := getattr(annotation, 'file_path', None)):
        cited_file = client.files.retrieve(file_path.file_id)
        citations.append(f'[{index}] Click <here> to download {cited_file.filename}')
        # Note: File download functionality not implemented above for brevity

# Add footnotes to the end of the message before displaying to user
message_content.value += '\n' + '\n'.join(citations)
Berichtaantekening Beschrijving
file_citation Bestandsvermeldingen worden gemaakt door het hulpprogramma voor ophalen en definiëren verwijzingen naar een specifiek citaat in een specifiek bestand dat is geüpload en gebruikt door de Assistent om het antwoord te genereren.
file_path Bestandspadaantekeningen worden gemaakt door het hulpprogramma code_interpreter en bevatten verwijzingen naar de bestanden die door het hulpprogramma worden gegenereerd.

Zie ook