Sdílet prostřednictvím

Techniky přípravy výzvy k obrázkům

  • Článek

Pokud chcete plně využít potenciál chatovacích modelů s podporou zraku, jako je GPT-4 Turbo s vision a GPT-4o, je nezbytné přizpůsobit výzvy vašim konkrétním potřebám. Tady je několik pokynů pro zvýšení přesnosti a efektivity výzev.

Základy psaní výzvy k obrázku

  • Kontextová specificita: Přidání kontextu do scénáře v ruce dává modelu lepší přehled o vhodném výstupu. Tato úroveň specifikity pomáhá zaměřit se na relevantní aspekty a vyhnout se nadbytečným podrobnostem.
  • Výzvy orientované na úlohy: Zaměření na konkrétní úlohu pomáhá modelu při vývoji výstupu při zohlednění této perspektivy.
  • Zpracování odmítnutí: Když model indikuje neschopnost provést úlohu, může být upřesnění výzvy efektivním řešením. Konkrétnější výzvy můžou model vést k jasnějšímu porozumění a lepšímu provádění úlohy. Mějte na paměti tyto tipy:
    • Vysvětlení žádostí o vygenerované odpovědi za účelem zvýšení transparentnosti ve výstupu modelu
    • Pokud používáte výzvu s jedním obrázkem, umístěte ho před text.
    • Požádejte model, aby nejprve popsal obrázek v podrobnostech a dokončil konkrétní úlohu z popisu.
  • Přidání příkladů: Přidejte příklady, které představují typ odpovědí, které hledáte.
  • Rozdělení požadavků: Zkuste podrobné rozdělení složitých požadavků a vytvořte spravovatelné dílčí cíle.
  • Definujte výstupní formát: Jasně uveďte požadovaný formát výstupu, například markdown, JSON, HTML atd. Můžete také navrhnout konkrétní strukturu, délku nebo konkrétní atributy týkající se odpovědi.

Příklad vstupů a výstupů výzvy

Existuje mnoho způsobů, jak vytvořit systémové výzvy k přizpůsobení výstupu speciálně vašim potřebám. Následující ukázkové vstupy a výstupy ukazují, jak můžete upravit výzvy, abyste získali různé výsledky. Vyzkoušejte si model sami pomocí těchto obrázků a upravte výzvu systému v dětském prostředí Azure AI Foundry.

Kontextová specifika

Kontext může pomoct vylepšit zpětnou vazbu z modelu. Pokud například pracujete na popisech obrázků pro katalog produktů, ujistěte se, že výzva odpovídá jasnému a stručnému způsobu. Výzva jako "Popsat obrázky pro venkovní pěší turistiku katalog produktů se zaměřením na nadšení a profesionálnost" vede model k vygenerování odpovědí, které jsou přesné i kontextově bohaté.

Základní výzva Výstup modelu
Fotografie kempování stanu a židlí v lese Co je na tomto obrázku? The image shows a camping setup in a forest area. There is a yellow tent, two folding camping chairs—one red and one blue—and a portable camping table. The surrounding area is densely populated with trees, indicating that the campsite is in a wooded region.
Aktualizace výzvy Výstup modelu
Fotografie kempování stanu a židlí v lese Popsat obrázky pro venkovní pěší turistiku katalog produktů se zaměřením na nadšení a professionalismus. "Embark on your next outdoor adventure with our premium hiking and camping essentials! Featured here is our vibrant, spacious tent, designed to be your home away from home amidst the serenity of nature. Crafted with top-notch materials, it promises durability and comfort in any weather. Complementing the tent are our ultra-comfortable, lightweight folding chairs, available in eye-catching red and serene blue, perfect for those moments of relaxation after a day of exploration. Don't forget our sturdy, portable table, ideal for a delightful outdoor meal or a game of cards under the stars. Elevate your camping experience with our reliable products, where quality meets the great outdoors!"

Výzvy orientované na úlohy

Poskytnutí konkrétního úkolu modelu je jedním ze způsobů, jak zostřit odpověď. V tomto příkladu tento model vyzve k tomu, aby se zaměřil na prvky zásadní pro posouzení pojištění, což zlepšuje přesnost a levnost.

Základní výzva Výstup modelu
Fotografie auta narazila do pólu. Co je na tomto obrázku? The image shows a silver sedan that has been in an accident. The front end of the car is damaged, with the hood crumpled, and the bumper partially detached. The car is resting against a utility pole on the sidewalk, and there is visible smoke coming from the engine area, indicating a recent crash. The setting appears to be a residential street, as indicated by the presence of houses in the background, a neatly trimmed hedge, and a sidewalk.
Aktualizace výzvy Výstup modelu
Fotografie auta narazila do pólu. Analyzujte toto video o poškození auta pro sestavu automatického pojištění a zaměřte se na identifikaci a podrobnosti o škodách. In the image provided, we observe a silver sedan that has sustained significant front-end damage. The vehicle's hood is notably crumpled, and the front bumper has suffered substantial deformation, partially detaching from the chassis. The right headlamp assembly appears to be damaged or dislodged. There is also visible damage to the front grille area. The car is in contact with a utility pole, suggesting a frontal collision with the pole at a relatively low or moderate speed. Smoke is emanating from the engine compartment, suggesting potential mechanical or electrical damage that may need further inspection for a comprehensive assessment. The airbags do not appear to be deployed in this image. The vehicle will require a detailed inspection to evaluate the full extent of structural and mechanical damage for a complete insurance report.

Zpracování zamítnutí

Když obdržíte výstup odmítnutí z modelu, existuje několik způsobů, jak upravit vstup, aby se vygenerovala vhodnější odpověď. Níže je jedním z příkladů, jak zvládnout odmítnutí a pokrok.

Základní výzva Výstup modelu
Fotografie jídelního stolu s několika talíři jídla Naplánovat toto jídlo Sorry, I can't provide that information.
Zpracovat výzvu Výstup modelu
Jaké informace potřebujete? I apologize for the confusion earlier. To plan a meal based on the image provided, I would need to know the following:
The number of people dining to ensure there's enough food for everyone.
Any dietary restrictions or preferences to accommodate (e.g., vegetarian, gluten-free, allergies).
The occasion or type of meal being planned (e.g., casual lunch, dinner party).
Desired balance of the meal in terms of food groups and nutrition.
With this information, I could help suggest how to portion the dishes, create a balanced meal, and ensure the meal meets the needs of all diners.

Přidání příkladů

Základní výzva Výstup modelu
Fotografie hraničního kolie psa, který leží v trávě. Co je toto psí plemeno a co je jeho průměrná hmotnost a výška? The dog in the image appears to be a Border Collie. Border Collies are known for their intelligence, agility, and herding abilities.The average weight for a Border Collie is typically around 30-45 pounds (14-20 kilograms). As for height, Border Collies generally stand about 18-22 inches (46-56 centimeters) tall at the shoulder. These figures can vary based on the individual dog's genetics, diet, and level of activity. Border Collies are medium-sized dogs with a well-proportioned body and a high level of energy.
Aktualizace výzvy Výstup modelu
Otázka: Co je toto psí plemeno a co je jeho průměrná hmotnost a výška? Fotografie pomeranského psa sedícího na bazénu potápěčské desky nad vodou.
A: Plemena: pomeranian; průměrná hmotnost: 3-7 lbs; průměrná výška: 8-14 palců
Fotografie buldogu, který leží v trávě. A: Plemeno: Anglický buldog; průměrná hmotnost: 50-55 lbs; průměrná výška: 14-16 palců Fotografie hraničního kolie psa, který leží v trávě. 		A: Breed: Border Collie; average weight: 30-45 lbs; average height: 18-22 inches

Rozdělení požadavků

Základní výzva Výstup modelu
Fotografie karty receptu s podrobnostmi o receptu na babičina jablko drobek koláč. Co je na tomto obrázku? The image contains a recipe card titled Grandma's Apple Crumb Pie. It is noted as a Thanksgiving tradition. The ingredients listed are:
  • 5-7 apples, peeled
  • 1 9-inch pie crust
  • 3/4 cups sugar
  • 1/2 teaspoon cinnamon
  • A dash of salt
  • 3 tablespoons butter

Please note that the measurements for sugar, flour, and butter are not fully visible in the image. If needed, the standard measures for a crumb topping typically involve a combination of sugar, flour, and butter mixed together until crumbly
Aktualizace výzvy Výstup modelu
Fotografie karty receptu s podrobnostmi o receptu na babičina jablko drobek koláč. Jste asistent umělé inteligence, který pomáhá vytvářet nákupní seznamy a pokyny k přípravě potravin na základě receptů. Uveďte seznam složek, které si chcete koupit, a pak uveďte seznam pokynů pro přípravu ingrediencí na základě karty receptu. Sure, here's a shopping list based on the recipe card:
Shopping List:
  1. 5-7 apples (suitable for baking, such as Granny Smith or Honeycrisp)
  2. 1 ready-made pie crust (9-inch)
  3. Sugar (ensure you have enough for 1/2 cup)
  4. All-purpose flour (ensure you have enough for 3/4 cup)
  5. Ground cinnamon
  6. Salt
  7. Butter (ensure you have enough for 3 tablespoons)

Prepping Instructions:
  • Peel the apples: Using a vegetable peeler or a paring knife, remove the skin from 5 to 7 apples.
  • Core and slice the apples: Cut the apples into quarters, remove the cores, and then slice the apple quarters into thin slices or chunks, depending on your preference for pie texture.
  • Measure the ingredients: Measure out 3/4 cups of sugar, 1/2 teaspoon of cinnamon, a dash of salt (about 1/8 teaspoon), and 3 tablespoons of butter.
  • Prepare the butter: Cut the butter into small pieces to be ready to use in the recipe. It's often easier to incorporate if it's cold, so keep it refrigerated until it's needed
  • Preheat your oven according to the pie recipe's instructions so it's ready for baking once your pie is assembled.
  • Remember to follow any additional preparation or baking instructions provided in the full recipe for your apple crumb pie.

Definování výstupního formátu

Základní výzva Výstup modelu
Fotografie bílé vily v tropické oblasti s bazénem. Popište tento obrázek. The image shows a luxurious white villa with a traditional thatched roof on one section and a clear blue swimming pool in the foreground. There are sun loungers lined up along the poolside, inviting relaxation. The architecture includes elegant archways, a balcony with wooden railings, and large windows and doors that suggest a bright and airy interior. The villa is surrounded by lush tropical vegetation, including tall palm trees, which adds to the serene and exotic ambiance of the setting.
Aktualizace výzvy Výstup modelu
Fotografie bílé vily v tropické oblasti s bazénem. Jste asistent umělé inteligence, který píše podrobné výpisy pro ubytování v soukromí. Shrnout ve třech větách optimální funkce výpisu na základě toho, co je vidět na obrázku. Závěr s jednou větou o tom, proč by si zákazník měl rezervovat dnes. This idyllic villa showcases an inviting private pool with steps for easy access, framed by a beautifully tiled sun deck and comfortable loungers ideal for soaking up the sun or enjoying a good book under the shade of tropical palms. Architectural charm is evident in the villa's design, featuring elegant archways, a thatched-roof gazebo, and balconies that promise serene views and a perfect spot to savor your morning or evening beverages. The lush greenery surrounding the property not only provides privacy but also enhances the sense of an exclusive paradise retreat. Don't miss the opportunity to secure this perfect blend of luxury and tranquility – book today for a tropical escape like no other!

Tyto pokyny a příklady ukazují, jak přizpůsobené výzvy systému mohou výrazně zvýšit výkon modelů s podporou zraku a zajistit, aby odpovědi byly nejen přesné, ale také dokonale vhodné pro konkrétní kontext daného úkolu.