Dela via

Tekniker för bildpromptteknik

  • Artikel

För att frigöra den fulla potentialen hos visionsaktiverade chattmodeller som GPT-4 Turbo med Vision och GPT-4o är det viktigt att skräddarsy uppmaningarna efter dina specifika behov. Här följer några riktlinjer för att förbättra noggrannheten och effektiviteten i dina frågor.

Grunderna i att skapa din bildprompt

  • Kontextspecifik specificitet: Om du lägger till kontext i det aktuella scenariot får modellen en bättre förståelse för lämpliga utdata. Denna specificitetsnivå bidrar till att fokusera på relevanta aspekter och undvika onödiga detaljer.

  • Uppgiftsorienterade frågor: Att fokusera på en specifik uppgift hjälper modellen att utveckla utdata samtidigt som det perspektivet beaktas.

  • Hantering av avslag: När modellen anger att det inte går att utföra en uppgift kan det vara en effektiv lösning att förfina uppmaningen. Mer specifika frågor kan vägleda modellen mot en tydligare förståelse och bättre körning av uppgiften. Några tips att tänka på:

    • Begära förklaringar för genererade svar för att förbättra transparensen i modellens utdata
    • Om du använder en fråga med en bild placerar du bilden före texten
    • Be modellen att beskriva bilden i detalj först och slutföra din specifika uppgift från beskrivningen

  • Lägga till exempel: Lägg till exempel som representerar vilken typ av svar du letar efter

  • Dela upp begäranden: Prova att dela upp komplexa begäranden steg för steg för att skapa hanterbara delmål

  • Definiera utdataformat: Ange tydligt önskat format för utdata, till exempel markdown, JSON, HTML osv. Du kan också föreslå en specifik struktur, längd eller specifika attribut om svaret.

Exempel på promptindata och utdata

Det finns många sätt att skapa systemfrågor för att skräddarsy utdata specifikt efter dina behov. Följande exempelindata och utdata visar hur du kan justera dina frågor med olika resultat. Prova modellen själv med de här bilderna och justera systemprompten i Azure AI Foundry Playground.

Kontextspecifik specificitet

Kontext kan hjälpa till att förbättra feedbacken från modellen. Om du till exempel arbetar med bildbeskrivningar för en produktkatalog ska du se till att din uppmaning återspeglar det på ett tydligt och koncist sätt. En uppmaning som "Beskriv bilder för en produktkatalog för utomhusvandring, med fokus på entusiasm och professionalism" vägleder modellen för att generera svar som är både korrekta och kontextmässigt rika.

Grundläggande fråga Modell-utdata
Foto av ett campingtält och stolar i en skog. Vad finns i den här bilden? The image shows a camping setup in a forest area. There is a yellow tent, two folding camping chairs—one red and one blue—and a portable camping table. The surrounding area is densely populated with trees, indicating that the campsite is in a wooded region.
Uppdaterad uppmaning Modell-utdata
Foto av ett campingtält och stolar i en skog. Beskriv bilder för en produktkatalog för utomhusvandring, med fokus på entusiasm och professionalism. "Embark on your next outdoor adventure with our premium hiking and camping essentials! Featured here is our vibrant, spacious tent, designed to be your home away from home amidst the serenity of nature. Crafted with top-notch materials, it promises durability and comfort in any weather. Complementing the tent are our ultra-comfortable, lightweight folding chairs, available in eye-catching red and serene blue, perfect for those moments of relaxation after a day of exploration. Don't forget our sturdy, portable table, ideal for a delightful outdoor meal or a game of cards under the stars. Elevate your camping experience with our reliable products, where quality meets the great outdoors!"

Uppgiftsorienterade frågor

Att ge modellen en specifik uppgift att följa är ett sätt att vässa svaret. I det här exemplet styr den här uppmaningen modellen för att koncentrera sig på element som är avgörande för försäkringsbedömningar, vilket förbättrar noggrannheten och relevansen.

Grundläggande fråga Modell-utdata
Foto av en bil kraschade in i en stolpe. Vad finns i den här bilden? The image shows a silver sedan that has been in an accident. The front end of the car is damaged, with the hood crumpled, and the bumper partially detached. The car is resting against a utility pole on the sidewalk, and there is visible smoke coming from the engine area, indicating a recent crash. The setting appears to be a residential street, as indicated by the presence of houses in the background, a neatly trimmed hedge, and a sidewalk.
Uppdaterad uppmaning Modell-utdata
Foto av en bil kraschade in i en stolpe. Analysera videon om bilskador för en bilförsäkringsrapport med fokus på att identifiera och beskriva skador In the image provided, we observe a silver sedan that has sustained significant front-end damage. The vehicle's hood is notably crumpled, and the front bumper has suffered substantial deformation, partially detaching from the chassis. The right headlamp assembly appears to be damaged or dislodged. There is also visible damage to the front grille area. The car is in contact with a utility pole, suggesting a frontal collision with the pole at a relatively low or moderate speed. Smoke is emanating from the engine compartment, suggesting potential mechanical or electrical damage that may need further inspection for a comprehensive assessment. The airbags do not appear to be deployed in this image. The vehicle will require a detailed inspection to evaluate the full extent of structural and mechanical damage for a complete insurance report.

Hantera avslag

När du får avslag på utdata från en modell finns det flera sätt att justera indata för att generera ett lämpligare svar. Nedan visas ett exempel på hur du hanterar en vägran och framsteg.

Grundläggande fråga Modell-utdata
Foto av ett middagsbord med flera tallrikar med mat. Planera den här måltiden Sorry, I can't provide that information.
Uppföljningsprompt Modell-utdata
Vilken information behöver du? I apologize for the confusion earlier. To plan a meal based on the image provided, I would need to know the following: <br> The number of people dining to ensure there's enough food for everyone.<br>Any dietary restrictions or preferences to accommodate (e.g., vegetarian, gluten-free, allergies).<br>The occasion or type of meal being planned (e.g., casual lunch, dinner party).<br>Desired balance of the meal in terms of food groups and nutrition. <br>With this information, I could help suggest how to portion the dishes, create a balanced meal, and ensure the meal meets the needs of all diners.

Lägga till exempel

Grundläggande fråga Modell-utdata
Foto av en border collie hund som ligger i ett gräsfält. Vad är denna hundras och vad är dess genomsnittliga vikt och längd? The dog in the image appears to be a Border Collie. Border Collies are known for their intelligence, agility, and herding abilities.The average weight for a Border Collie is typically around 30-45 pounds (14-20 kilograms). As for height, Border Collies generally stand about 18-22 inches (46-56 centimeters) tall at the shoulder. These figures can vary based on the individual dog's genetics, diet, and level of activity. Border Collies are medium-sized dogs with a well-proportioned body and a high level of energy.
Uppdaterad uppmaning Modell-utdata
F: Vad är denna hundras och vad är dess genomsnittliga vikt och längd? Foto av en pomeranian hund som sitter på en pooldykningsbräda ovanför vattnet.
A: Ras: pomeranian; genomsnittlig vikt: 3-7 lbs; genomsnittlig höjd: 8–14 tum
Foto av en bulldog som ligger på en gräsplan. A: Ras: Engelsk bulldog; genomsnittlig vikt: 50-55 lbs; genomsnittlig höjd: 14-16 tum Foto av en border collie hund som ligger i ett gräsfält. 		A: Breed: Border Collie; average weight: 30-45 lbs; average height: 18-22 inches

Dela upp begäranden

Grundläggande fråga Modell-utdata
Foto av ett receptkort som beskriver ett recept på mormors Apple Crumb Pie. Vad finns i den här bilden? The image contains a recipe card titled Grandma's Apple Crumb Pie. It is noted as a Thanksgiving tradition. The ingredients listed are:<br><ul><li>5-7 apples, peeled </li> <li>1 9-inch pie crust</li> <li> 3/4 cups sugar </li> <li>1/2 teaspoon cinnamon </li> <li>A dash of salt </li><li> 3 tablespoons butter</li> </ul><br>Please note that the measurements for sugar, flour, and butter are not fully visible in the image. If needed, the standard measures for a crumb topping typically involve a combination of sugar, flour, and butter mixed together until crumbly
Uppdaterad uppmaning Modell-utdata
Foto av ett receptkort som beskriver ett recept på mormors Apple Crumb Pie. Du är en AI-assistent som hjälper dig att skapa inköpslistor och instruktioner för att förbereda mat baserat på recept. Ange en lista över ingredienser att köpa och ange sedan en lista med instruktioner för att förbereda ingredienserna baserat på receptkortet. Visst, här är en inköpslista baserad på receptkortet:
Inköpslista:
  1. 5-7 äpplen (lämpliga för bakning, till exempel Granny Smith eller Honeycrisp)
  2. 1 färdig pajskorpa (9 tum)
  3. Socker (se till att du har tillräckligt för 1/2 kopp)
  4. All-purpose mjöl (se till att du har tillräckligt för 3/4 kopp)
  5. Mald kanel
  6. Salt
  7. Smör (se till att du har tillräckligt för 3 matskedar)

Prepping-instruktioner:
  • Skala äpplena: Använd en grönsaksskalare eller en parningskniv, ta bort huden från 5 till 7 äpplen.
  • Kärna och skiva äpplena: Skär äpplena i kvartal, ta bort kärnorna och skär sedan äppelkvarteren i tunna skivor eller segment, beroende på din inställning för pajstruktur.
  • Mät ingredienserna: Mät ut 3/4 koppar socker, 1/2 tesked kanel, en skvätt salt (ca 1/8 tesked) och 3 matskedar smör.
  • Förbered smöret: Skär smöret i små bitar för att vara redo att användas i receptet. Det är ofta lättare att införliva om det är kallt, så håll det kylt tills det behövs
  • Förvärm ugnen enligt pajreceptets instruktioner så att den är redo för bakning när pajen har monterats.
  • Kom ihåg att följa eventuella ytterligare förberedelse- eller bakningsinstruktioner som anges i det fullständiga receptet för din äppelsmulpaj.

Definiera utdataformat

Grundläggande fråga Modell-utdata
Foto av en vit villa i en tropisk region med pool. Beskriv den här bilden The image shows a luxurious white villa with a traditional thatched roof on one section and a clear blue swimming pool in the foreground. There are sun loungers lined up along the poolside, inviting relaxation. The architecture includes elegant archways, a balcony with wooden railings, and large windows and doors that suggest a bright and airy interior. The villa is surrounded by lush tropical vegetation, including tall palm trees, which adds to the serene and exotic ambiance of the setting.
Uppdaterad uppmaning Modell-utdata
Foto av en vit villa i en tropisk region med pool. Du är en AI-assistent som skriver detaljerade listor för semesteruthyrningsegenskaper. Sammanfatta i tre meningar de optimala funktionerna i listan, baserat på endast vad som visas i bilden. Avsluta med en mening om varför kunden ska boka idag. This idyllic villa showcases an inviting private pool with steps for easy access, framed by a beautifully tiled sun deck and comfortable loungers ideal for soaking up the sun or enjoying a good book under the shade of tropical palms. Architectural charm is evident in the villa's design, featuring elegant archways, a thatched-roof gazebo, and balconies that promise serene views and a perfect spot to savor your morning or evening beverages. The lush greenery surrounding the property not only provides privacy but also enhances the sense of an exclusive paradise retreat. Don't miss the opportunity to secure this perfect blend of luxury and tranquility – book today for a tropical escape like no other!

Dessa riktlinjer och exempel visar hur skräddarsydda systemfrågor avsevärt kan förbättra prestandan för visionsaktiverade modeller, vilket säkerställer att svaren inte bara är korrekta utan också passar perfekt för den aktuella uppgiftens specifika kontext.