Técnicas de engenharia de prompt de imagem

Para desbloquear todo o potencial do GPT-4 Turbo com Visão, é essencial adaptar os prompts às suas necessidades específicas. Aqui estão algumas diretrizes para melhorar a precisão e a eficiência de seus prompts.

Fundamentos da criação do seu prompt de imagem

• Especificidade contextual: Adicionar contexto ao cenário em questão dá ao modelo uma melhor compreensão de uma saída apropriada. Este nível de especificidade ajuda a concentrar-se em aspetos relevantes e a evitar pormenores estranhos.

• Prompts orientados a tarefas: Concentrar-se em uma tarefa específica ajuda o modelo a desenvolver a saída, levando essa perspetiva em consideração.

• Tratamento de recusas: quando o modelo indica uma incapacidade de executar uma tarefa, refinar o prompt pode ser uma solução eficaz. Prompts mais específicos podem orientar o modelo para uma compreensão mais clara e melhor execução da tarefa. Algumas dicas a ter em mente:

  • Solicitar explicações para as respostas geradas para aumentar a transparência na saída do modelo
    
  • Se estiver usando um prompt de imagem única, coloque a imagem antes do texto
    
  • Peça ao modelo para descrever a imagem em detalhes primeiro e conclua sua tarefa específica a partir da descrição

• Adicionar exemplos: adicione exemplos que representem o tipo de respostas que procura

• Detalhar solicitações: tente dividir solicitações complexas passo a passo para criar submetas gerenciáveis

• Definir formato de saída: mencione claramente o formato desejado para a saída, como markdown, JSON, HTML, etc. Você também pode sugerir uma estrutura, comprimento ou atributos específicos sobre a resposta.

Exemplo de entradas de prompt e saídas

Há muitas maneiras de criar prompts do sistema para adaptar a saída especificamente às suas necessidades. Os exemplos de entradas e saídas a seguir mostram como o ajuste de seus prompts pode fornecer resultados diferentes. Experimente o modelo por si mesmo usando essas imagens e ajustando o prompt do sistema no playground do Azure AI Studio.

Especificidade contextual

O contexto pode ajudar a melhorar o feedback do modelo. Por exemplo, se você estiver trabalhando em descrições de imagens para um catálogo de produtos, certifique-se de que seu prompt reflita isso de forma clara e concisa. Um aviso como "Descreva imagens para um catálogo de produtos de caminhadas ao ar livre, com foco no entusiasmo e profissionalismo" orienta o modelo a gerar respostas precisas e contextualmente ricas.

Prompt básico	Saída do modelo
O que há nesta imagem?	A imagem mostra uma configuração de acampamento em uma área de floresta. Há uma tenda amarela, duas cadeiras de acampamento dobráveis - uma vermelha e outra azul - e uma mesa de camping portátil. A área circundante é densamente povoada com árvores, indicando que o parque de campismo está numa região arborizada.

Prompt atualizado

Saída do modelo

Descreva imagens para um catálogo de produtos de caminhadas ao ar livre, com foco no entusiasmo e profissionalismo.

"Embarque em sua próxima aventura ao ar livre com nossos itens essenciais premium para caminhadas e camping! Destaque aqui é a nossa tenda vibrante e espaçosa, projetada para ser a sua casa longe de casa em meio à serenidade da natureza. Fabricado com materiais de primeira linha, promete durabilidade e conforto em qualquer clima. A complementar a tenda estão as nossas cadeiras dobráveis leves e ultraconfortáveis, disponíveis em vermelho e azul sereno apelativos, perfeitas para aqueles momentos de relaxamento após um dia de exploração. Não se esqueça da nossa mesa resistente e portátil, ideal para uma deliciosa refeição ao ar livre ou um jogo de cartas sob as estrelas. Eleve a sua experiência de campismo com os nossos produtos de confiança, onde a qualidade se encontra com o ar livre!"

Prompts orientados a tarefas

Dar ao modelo uma tarefa específica a seguir é uma maneira de afiar a resposta. Neste exemplo, este aviso orienta o modelo a concentrar-se em elementos cruciais para as avaliações de seguros, melhorando assim a precisão e a relevância.

Prompt básico	Saída do modelo
O que há nesta imagem?	A imagem mostra um sedã prata que sofreu um acidente. A dianteira do carro está danificada, com o capô amassado e o para-choque parcialmente destacado. O carro está encostado a um poste na calçada, e há fumaça visível vindo da área do motor, indicando um acidente recente. O cenário parece ser uma rua residencial, como indicado pela presença de casas ao fundo, uma sebe bem aparada e uma calçada.

Prompt atualizado

Saída do modelo

Analise este vídeo de danos de carro para um relatório de seguro auto, com foco na identificação e detalhamento de danos

Na imagem fornecida, observamos um sedã prateado que sofreu danos frontais significativos. O capô do veículo está notavelmente amassado e o para-choque dianteiro sofreu deformações substanciais, separando-se parcialmente do chassi. O conjunto do farol direito parece estar danificado ou deslocado. Há também danos visíveis na área da grade frontal. O carro está em contato com um poste, sugerindo uma colisão frontal com o poste em uma velocidade relativamente baixa ou moderada. O fumo emana do compartimento do motor, sugerindo potenciais danos mecânicos ou elétricos que podem necessitar de uma inspeção mais aprofundada para uma avaliação completa. Os airbags não parecem estar implantados nesta imagem. O veículo exigirá uma inspeção detalhada para avaliar toda a extensão dos danos estruturais e mecânicos para um relatório de seguro completo.

Tratamento de recusas

Quando você recebe uma saída de recusa de um modelo, há várias maneiras de ajustar a entrada para gerar uma resposta mais apropriada. Abaixo está um exemplo de como lidar com uma recusa e progresso.

Prompt básico	Saída do modelo
Planeie esta refeição	Desculpe, não posso fornecer essas informações.

Prompt de acompanhamento

Saída do modelo

De que informações precisa?

Peço desculpa pela confusão anterior. Para planejar uma refeição com base na imagem fornecida, eu precisaria saber o seguinte: O número de pessoas jantando para garantir que haja comida suficiente para todos. Quaisquer restrições ou preferências alimentares para acomodar (por exemplo, vegetariano, sem glúten, alergias). A ocasião ou tipo de refeição que está sendo planejada (por exemplo, almoço casual, jantar). Equilíbrio desejado da refeição em termos de grupos alimentares e nutrição. Com essas informações, eu poderia ajudar a sugerir como parcelar os pratos, criar uma refeição equilibrada e garantir que a refeição atenda às necessidades de todos os comensais.

Adicionando exemplos

Prompt básico

Saída do modelo

O que é esta raça de cão e qual o seu peso e altura médios?

O cão na imagem parece ser um Border Collie. Border Collies são conhecidos por sua inteligência, agilidade e habilidades de pastoreio. O peso médio de um Border Collie é tipicamente de cerca de 30-45 libras (14-20 quilogramas). Quanto à altura, os Border Collies geralmente ficam com cerca de 18-22 polegadas (46-56 centímetros) de altura no ombro. Estes números podem variar com base na genética, dieta e nível de atividade de cada cão. Border Collies são cães de tamanho médio com um corpo bem proporcionado e um alto nível de energia.

Prompt atualizado	Saída do modelo
P: O que é esta raça de cão e qual o seu peso médio e altura? A: Raça: pomerânia; peso médio: 3-7 lbs; Altura média: 8-14 polegadas A: Raça: Bulldog Inglês; peso médio: 50-55 lbs; Altura média: 14-16 polegadas	A: Raça: Border Collie; peso médio: 30-45 lbs; Altura média: 18-22 polegadas

Pedidos de decomposição

Prompt básico

Saída do modelo

O que contém esta imagem?

A imagem contém um cartão de receita intitulado Grandma's Apple Crumb Pie. É notado como uma tradição de Ação de Graças. Os ingredientes listados são: 5-7 maçãs, descascadas 1 crosta de torta de 9 polegadas 3/4 xícaras de açúcar 1/2 colher de chá de canela Uma pitada de sal 3 colheres de sopa de manteiga Por favor, note que as medidas para açúcar, farinha e manteiga não são totalmente visíveis na imagem. Se necessário, as medidas padrão para uma cobertura de migalha normalmente envolvem uma combinação de açúcar, farinha e manteiga misturados até ficarem esfarelados

Prompt atualizado

Saída do modelo

Você é um assistente de IA que ajuda a criar listas de compras e instruções para preparar alimentos com base em receitas. Por favor, forneça uma lista de ingredientes para comprar e, em seguida, forneça uma lista de instruções para preparar os ingredientes com base no cartão de receita.

Claro, aqui está uma lista de compras com base no cartão de receita: Lista de compras: 5-7 maçãs (adequadas para assar, como Granny Smith ou Honeycrisp) 1 crosta de torta pronta (9 polegadas) Açúcar (certifique-se de ter o suficiente para 1/2 chávena) Farinha de trigo (certifique-se de ter o suficiente para 3/4 de chávena) Canela moída Salt Manteiga (certifique-se de ter o suficiente para 3 colheres de sopa) Instruções de preparação: Descasque as maçãs: Usando um descascador de vegetais ou uma faca de corte, retire a pele de 5 a 7 maçãs. Cubra e corte as maçãs: Corte as maçãs em quartos, retire os núcleos e, em seguida, corte os quartos de maçã em fatias finas ou pedaços, dependendo da sua preferência pela textura da torta. Meça os ingredientes: Meça 3/4 xícaras de açúcar, 1/2 colher de chá de canela, uma pitada de sal (cerca de 1/8 colher de chá) e 3 colheres de sopa de manteiga. Prepare a manteiga: Corte a manteiga em pedaços pequenos para estar pronta para usar na receita. Muitas vezes é mais fácil de incorporar se estiver frio, por isso mantenha-o refrigerado até ser necessário Pré-aqueça o forno de acordo com as instruções da receita da torta para que esteja pronto para assar assim que a torta for montada. Lembre-se de seguir qualquer preparação adicional ou instruções de cozimento fornecidas na receita completa para sua torta de miolo de maçã.

Definir formato de saída

Prompt básico

Saída do modelo

Descreva esta imagem

A imagem mostra uma luxuosa villa branca com um telhado de palha tradicional em uma seção e uma piscina azul clara em primeiro plano. Há espreguiçadeiras alinhadas ao longo da piscina, convidando ao relaxamento. A arquitetura inclui arcos elegantes, uma varanda com grades de madeira e grandes janelas e portas que sugerem um interior luminoso e arejado. A moradia está rodeada por uma exuberante vegetação tropical, incluindo palmeiras altas, o que contribui para o ambiente sereno e exótico do cenário.

Prompt atualizado

Saída do modelo

Você é um assistente de IA que escreve anúncios detalhados para propriedades de aluguel de temporada. Resuma em três frases as características ideais da listagem, com base apenas no que é visível na imagem. Conclua com uma frase sobre por que o cliente deve reservar hoje.

Esta moradia idílica exibe uma convidativa piscina privada com degraus para fácil acesso, emoldurada por um deck lindamente revestido de azulejos e espreguiçadeiras confortáveis, ideais para aproveitar o sol ou desfrutar de um bom livro sob a sombra de palmeiras tropicais. O charme arquitetônico é evidente no design da villa, com arcos elegantes, um gazebo com telhado de palha e varandas que prometem vistas serenas e um local perfeito para saborear suas bebidas matinais ou noturnas. A vegetação exuberante que rodeia a propriedade não só proporciona privacidade, mas também aumenta a sensação de um retiro paradisíaco exclusivo. Não perca a oportunidade de garantir esta mistura perfeita de luxo e tranquilidade – reserve hoje para uma escapadela tropical como nenhuma outra!

Estas diretrizes e exemplos demonstram como os prompts personalizados do sistema podem melhorar significativamente o desempenho do GPT-4 Turbo com Visão, garantindo que as respostas sejam não apenas precisas, mas também perfeitamente adequadas ao contexto específico da tarefa em questão.