Condividi tramite

Guida introduttiva: Introduzione all'uso di GPT-4 Turbo con Visione nelle immagini e nei video nel portale di Azure AI Foundry

  • Articolo

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Usare questo articolo per iniziare a usare Azure AI Foundry per distribuire e testare il modello GPT-4 Turbo con Vision.

GPT-4 Turbo con Visione e Visione di Azure AI offrono funzionalità avanzate, tra cui:

  • Riconoscimento ottico dei caratteri (OCR): estrae il testo dalle immagini e lo combina con la richiesta e l'immagine dell'utente per espandere il contesto.
  • Messa a terra degli oggetti: integra GPT-4 Turbo con la risposta di testo di Servizio cognitivo di Azure per la visione con la messa a terra degli oggetti e delinea gli oggetti salienti nelle immagini di input.
  • Richieste video: GPT-4 Turbo con Visione può rispondere alle domande recuperando i fotogrammi video più rilevanti per la richiesta dell'utente.

I costi di utilizzo aggiuntivi possono essere applicati quando si usa GPT-4 Turbo con la funzionalità Visione e Visione artificiale di Azure.

Prerequisiti

Preparare i file multimediali

È necessaria un'immagine per completare le guide introduttive all'immagine. È possibile usare l'immagine di esempio o qualsiasi altra immagine disponibile.

Foto di un incidente stradale che può essere usato per completare l'avvio rapido.

Per le richieste video, è necessario un video di durata inferiore a tre minuti.

Distribuire un modello GPT-4 Turbo con Visione

  1. Accedere ad Azure AI Foundry e selezionare l'hub in cui si vuole lavorare.
  2. Nel menu di spostamento a sinistra selezionare Servizi di intelligenza artificiale. Selezionare il pannello Prova GPT-4 Turbo.
  3. Nella pagina GPT-4 selezionare Distribuisci. Nella finestra visualizzata selezionare la risorsa di Azure OpenAI. Selezionare vision-preview come versione del modello.
  4. Seleziona Distribuisci.
  5. Passare quindi alla pagina del nuovo modello e selezionare Apri nel playground. Nel playground della chat, la distribuzione GPT-4 creata deve essere selezionata nell'elenco a discesa Distribuzione.

In questa sessione di chat si indica all'assistente di comprendere le immagini immesse.

  1. Nella casella di testo Messaggio di sistema della scheda Messaggio di sistema, specificare questa richiesta per guidare l'assistente: "You're an AI assistant that helps people find information."È possibile personalizzare la richiesta per l'immagine o lo scenario.
  2. Selezionare Applica modifiche per salvare le modifiche.
  3. Nel riquadro della sessione della chat, selezionare il pulsante dell’allegato, quindi Carica immagine. Scegliere l'immagine.
  4. Aggiungere la domanda seguente nel campo della chat: "Describe this image", quindi selezionare l'icona a forma di freccia destra per inviare.
  5. L'icona della freccia destra viene sostituita da un pulsante Stop. Selezionando il pulsante, l'assistente interrompe l'elaborazione della richiesta. Per questa guida introduttiva, lasciare che l'assistente finisca la risposta.
  6. L'assistente deve rispondere con una descrizione dell'immagine.
  7. Porre una domanda di completamento correlata all'analisi dell'immagine. È possibile immettere "What should I highlight about this image to my insurance company?".
  8. Si dovrebbe ricevere una risposta pertinente simile a quanto illustrato di seguito: 
    When reporting the incident to your insurance company, you should highlight the following key points from the image:  

1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  

2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  

3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  

4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  

5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  

6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  

Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.

Visualizzare ed esportare codice

In qualsiasi punto della sessione di chat, è possibile abilitare l'opzione Mostra JSON non elaborato nella parte superiore della finestra chat per visualizzare la conversazione formattata come JSON. Ecco come appare all'inizio della sessione di chat di avvio rapido:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Pulire le risorse

Per evitare di incorrere in costi di Azure non necessari, è necessario eliminare le risorse create in questa guida introduttiva, se non sono più necessarie. Per gestire le risorse, è possibile usare il portale di Azure.

Passaggi successivi