Compartilhar via

Início Rápido: Introdução ao uso do GPT-4 Turbo com Vision em suas imagens e vídeos no portal de IA do Azure Foundry

  • Artigo

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Use este artigo para começar a usar a IA do Azure Foundry para implantar e testar o modelo GPT-4 Turbo com Vision.

O GPT-4 Turbo with Vision e a Visão de IA do Azure oferecem funcionalidade avançada, incluindo:

  • OCR (reconhecimento óptico de caracteres): extrai texto de imagens e o combina com o prompt e a imagem do usuário para expandir o contexto.
  • Aterramento de objeto: complementa a resposta de texto GPT-4 Turbo with Vision com aterramento de objeto e estrutura objetos salientes nas imagens de entrada.
  • Prompts de vídeo: o GPT-4 Turbo with Vision pode responder perguntas recuperando os quadros de vídeo mais relevantes para o prompt do usuário.

As taxas de uso extras podem ser aplicadas ao uso do GPT-4 Turbo com Vision com a funcionalidade da Visão de IA do Azure.

Pré-requisitos

Prepare sua mídia

Você precisa de uma imagem para concluir os inícios rápidos da imagem. Você pode usar essa imagem de exemplo ou qualquer outra imagem disponível.

Foto de um acidente de carro que pode ser usada para concluir o início rápido.

Quanto às solicitações de vídeo, você precisa de um vídeo com menos de três minutos de duração.

Implantar um modelo GPT-4 Turbo com Visão

  1. Entre na IA do Azure Foundry e selecione o hub no qual você deseja trabalhar.
  2. No menu de navegação à esquerda, selecione Serviços de IA. Selecione o painel Experimentar o GPT-4 Turbo.
  3. Na página gpt-4, selecione Implantar. Na janela exibida, selecione o recurso de OpenAI do Azure. Selecione vision-preview como a versão do modelo.
  4. Selecione Implantar.
  5. Em seguida, vá para a página do novo modelo e selecione Abrir no playground. No playground de chat, a implantação do GPT-4 que você criou deve ser selecionada na lista suspensa Implantação.

Nesta sessão de chat, instrua o assistente a ajudar no reconhecimento das imagens que você insere.

  1. Na caixa de texto Mensagem do sistema na guia Mensagem do sistema, forneça este prompt para orientar o assistente: "You're an AI assistant that helps people find information." Você pode adaptar o prompt à sua imagem ou cenário.
  2. Selecione Aplicar alterações para salvar suas alterações.
  3. No painel de sessão de chat, selecione o botão anexo e Carregar imagem. Escolha sua imagem.
  4. Adicione a seguinte pergunta no campo de chat: "Describe this image", e selecione o ícone de seta para a direita a ser enviado.
  5. O ícone de seta para a direita é substituído pelo botão Parar. Se você selecioná-lo, o assistente interromperá o processamento da sua solicitação. Para este início rápido, deixe o assistente concluir sua resposta.
  6. O assistente responde com uma descrição da imagem.
  7. Faça uma pergunta de acompanhamento relacionada à análise de sua imagem. Você pode entrar, "What should I highlight about this image to my insurance company?".
  8. Você deve receber uma resposta relevante semelhante à mostrada aqui: 
    When reporting the incident to your insurance company, you should highlight the following key points from the image:  

1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  

2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  

3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  

4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  

5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  

6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  

Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.

Exibir e exportar os dados

Em qualquer momento da sessão de chat, você pode habilitar a opção Mostrar JSON bruto na parte superior da janela de chat para ver a conversa formatada como JSON. Esta é a aparência no início da sessão de chat de início rápido:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Limpar os recursos

Para evitar gerar custos desnecessários no Azure, exclua os recursos criados neste início rápido, caso eles não sejam mais necessários. Para gerenciar os recursos, use o portal do Azure.

Próximas etapas