Udostępnij za pośrednictwem

Techniki inżynierii monitu o obraz

  • Artykuł

Aby odblokować pełny potencjał modeli czatów obsługujących wizję, takich jak GPT-4 Turbo z usługą Vision i GPT-4o, niezbędne jest dostosowanie monitów do konkretnych potrzeb. Poniżej przedstawiono kilka wskazówek, aby zwiększyć dokładność i wydajność monitów.

Podstawy pisania monitu o obraz

  • Kontekstowa specyfika: dodanie kontekstu do scenariusza daje modelowi lepsze zrozumienie odpowiednich danych wyjściowych. Ten poziom szczegółowości pomaga skupić się na odpowiednich aspektach i unikać dodatkowych szczegółów.
  • Monity zorientowane na zadania: skupienie się na konkretnym zadaniu ułatwia modelowi opracowywanie danych wyjściowych przy jednoczesnym uwzględnieniu tej perspektywy.
  • Obsługa odmowy: gdy model wskazuje niezdolność do wykonania zadania, uściślianie monitu może być skutecznym rozwiązaniem. Bardziej szczegółowe monity mogą kierować modelem do jaśniejszego zrozumienia i lepszego wykonania zadania. Pamiętaj o następujących wskazówkach:
    • Zażądaj wyjaśnień dla wygenerowanych odpowiedzi w celu zwiększenia przejrzystości w danych wyjściowych modelu
    • Jeśli używasz monitu o jeden obraz, umieść obraz przed tekstem
    • Poproś model o opisanie obrazu w szczegółach i ukończenie określonego zadania w opisie
  • Dodaj przykłady: Dodaj przykłady reprezentujące typ odpowiedzi, których szukasz
  • Podział żądań: spróbuj podzielić złożone żądania krok po kroku, aby utworzyć możliwe do zarządzania cele podrzędne
  • Zdefiniuj format danych wyjściowych: wyraźnie podaj żądany format dla danych wyjściowych, takich jak markdown, JSON, HTML itp. Możesz również zasugerować określoną strukturę, długość lub określone atrybuty dotyczące odpowiedzi.

Przykładowe dane wejściowe i wyjściowe monitu

Istnieje wiele sposobów tworzenia monitów systemowych, aby dostosować dane wyjściowe specjalnie do Twoich potrzeb. W poniższych przykładowych danych wejściowych i wyjściowych pokazano, jak dostosowywanie monitów może dać różne wyniki. Wypróbuj model, aby samodzielnie użyć tych obrazów i dostosować monit systemowy na placu zabaw rozwiązania Azure AI Foundry.

Kontekstowa specyfika

Kontekst może pomóc w ulepszaniu opinii na podstawie modelu. Jeśli na przykład pracujesz nad opisami obrazów dla katalogu produktów, upewnij się, że monit odzwierciedla to w przejrzysty i zwięzły sposób. Monit, taki jak "Opisywanie obrazów dla katalogu produktów turystycznych na świeżym powietrzu, skupienie się na entuzjazmie i profesjonalizmie" prowadzi model do generowania odpowiedzi, które są zarówno dokładne, jak i kontekstowo bogate.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie namiotu kempingowego i krzesła w lesie. Co znajduje się na tym obrazie? The image shows a camping setup in a forest area. There is a yellow tent, two folding camping chairs—one red and one blue—and a portable camping table. The surrounding area is densely populated with trees, indicating that the campsite is in a wooded region.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie namiotu kempingowego i krzesła w lesie. Opisywanie obrazów dla katalogu produktów turystycznych na świeżym powietrzu, koncentrując się na entuzjazmie i profesjonalizmie. "Embark on your next outdoor adventure with our premium hiking and camping essentials! Featured here is our vibrant, spacious tent, designed to be your home away from home amidst the serenity of nature. Crafted with top-notch materials, it promises durability and comfort in any weather. Complementing the tent are our ultra-comfortable, lightweight folding chairs, available in eye-catching red and serene blue, perfect for those moments of relaxation after a day of exploration. Don't forget our sturdy, portable table, ideal for a delightful outdoor meal or a game of cards under the stars. Elevate your camping experience with our reliable products, where quality meets the great outdoors!"

Monity zorientowane na zadania

Nadanie modelowi konkretnego zadania do wykonania jest jednym ze sposobów wyostrzenia odpowiedzi. W tym przykładzie ten monit kieruje model, aby skoncentrował się na elementach kluczowych dla ocen ubezpieczeniowych, zwiększając w ten sposób dokładność i trafność.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie samochodu rozbiło się na słupie. Co znajduje się na tym obrazie? The image shows a silver sedan that has been in an accident. The front end of the car is damaged, with the hood crumpled, and the bumper partially detached. The car is resting against a utility pole on the sidewalk, and there is visible smoke coming from the engine area, indicating a recent crash. The setting appears to be a residential street, as indicated by the presence of houses in the background, a neatly trimmed hedge, and a sidewalk.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie samochodu rozbiło się na słupie. Analizowanie tego wideo o szkodach samochodowych w raporcie dotyczącym ubezpieczenia samochodowego, koncentrując się na identyfikacji i wyszczególnieniu szkód In the image provided, we observe a silver sedan that has sustained significant front-end damage. The vehicle's hood is notably crumpled, and the front bumper has suffered substantial deformation, partially detaching from the chassis. The right headlamp assembly appears to be damaged or dislodged. There is also visible damage to the front grille area. The car is in contact with a utility pole, suggesting a frontal collision with the pole at a relatively low or moderate speed. Smoke is emanating from the engine compartment, suggesting potential mechanical or electrical damage that may need further inspection for a comprehensive assessment. The airbags do not appear to be deployed in this image. The vehicle will require a detailed inspection to evaluate the full extent of structural and mechanical damage for a complete insurance report.

Obsługa odmowy

W przypadku otrzymania danych wyjściowych odmowy z modelu istnieje kilka sposobów dostosowywania danych wejściowych w celu wygenerowania bardziej odpowiedniej odpowiedzi. Poniżej przedstawiono jeden przykład sposobu radzenia sobie z odmową i postępem.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie stołu obiadowego z kilkoma talerzami jedzenia. Zaplanuj ten posiłek Sorry, I can't provide that information.
Monit z monitem Dane wyjściowe modelu
Jakich informacji potrzebujesz? I apologize for the confusion earlier. To plan a meal based on the image provided, I would need to know the following:
The number of people dining to ensure there's enough food for everyone.
Any dietary restrictions or preferences to accommodate (e.g., vegetarian, gluten-free, allergies).
The occasion or type of meal being planned (e.g., casual lunch, dinner party).
Desired balance of the meal in terms of food groups and nutrition.
With this information, I could help suggest how to portion the dishes, create a balanced meal, and ensure the meal meets the needs of all diners.

Dodawanie przykładów

Monit podstawowy Dane wyjściowe modelu
Zdjęcie psa collie border collie kładącego się w polu trawiastym. Jaka jest ta rasa psów i jaka jest jej średnia waga i wysokość? The dog in the image appears to be a Border Collie. Border Collies are known for their intelligence, agility, and herding abilities.The average weight for a Border Collie is typically around 30-45 pounds (14-20 kilograms). As for height, Border Collies generally stand about 18-22 inches (46-56 centimeters) tall at the shoulder. These figures can vary based on the individual dog's genetics, diet, and level of activity. Border Collies are medium-sized dogs with a well-proportioned body and a high level of energy.
Zaktualizowany monit Dane wyjściowe modelu
.: Jaka jest ta rasa psów i jaka jest jej średnia waga i wysokość? Zdjęcie psa z dziećmi siedzącego na pokładzie nurkowym na basenie nad wodą.
Ach: Rasa: chrzędnia; średnia waga: 3–7lbs; średnia wysokość: 8-14 cali
Zdjęcie buldoga leżącego na boisku trawiastym. A: Rasa: Angielski buldog; średnia waga: 50-55lbs; średnia wysokość: 14-16 cali Zdjęcie psa collie border collie kładącego się w polu trawiastym. 		A: Breed: Border Collie; average weight: 30-45 lbs; average height: 18-22 inches

Podzielenie żądań

Monit podstawowy Dane wyjściowe modelu
Zdjęcie karty przepis szczegółowo przepis przepis na Grandma's Apple Crumb Pie. Co znajduje się na tym obrazie? The image contains a recipe card titled Grandma's Apple Crumb Pie. It is noted as a Thanksgiving tradition. The ingredients listed are:
  • 5-7 apples, peeled
  • 1 9-inch pie crust
  • 3/4 cups sugar
  • 1/2 teaspoon cinnamon
  • A dash of salt
  • 3 tablespoons butter

Please note that the measurements for sugar, flour, and butter are not fully visible in the image. If needed, the standard measures for a crumb topping typically involve a combination of sugar, flour, and butter mixed together until crumbly
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie karty przepis szczegółowo przepis przepis na Grandma's Apple Crumb Pie. Jesteś asystentem sztucznej inteligencji, który pomaga tworzyć listy zakupów i instrukcje przygotowywania żywności na podstawie przepisów. Podaj listę składników do zakupu, a następnie podaj listę instrukcji przygotowywania składników na podstawie karty przepisu. Sure, here's a shopping list based on the recipe card:
Shopping List:
  1. 5-7 apples (suitable for baking, such as Granny Smith or Honeycrisp)
  2. 1 ready-made pie crust (9-inch)
  3. Sugar (ensure you have enough for 1/2 cup)
  4. All-purpose flour (ensure you have enough for 3/4 cup)
  5. Ground cinnamon
  6. Salt
  7. Butter (ensure you have enough for 3 tablespoons)

Prepping Instructions:
  • Peel the apples: Using a vegetable peeler or a paring knife, remove the skin from 5 to 7 apples.
  • Core and slice the apples: Cut the apples into quarters, remove the cores, and then slice the apple quarters into thin slices or chunks, depending on your preference for pie texture.
  • Measure the ingredients: Measure out 3/4 cups of sugar, 1/2 teaspoon of cinnamon, a dash of salt (about 1/8 teaspoon), and 3 tablespoons of butter.
  • Prepare the butter: Cut the butter into small pieces to be ready to use in the recipe. It's often easier to incorporate if it's cold, so keep it refrigerated until it's needed
  • Preheat your oven according to the pie recipe's instructions so it's ready for baking once your pie is assembled.
  • Remember to follow any additional preparation or baking instructions provided in the full recipe for your apple crumb pie.

Definiowanie formatu danych wyjściowych

Monit podstawowy Dane wyjściowe modelu
Zdjęcie białej willi w regionie tropikalnym z basenem. Opisz ten obraz The image shows a luxurious white villa with a traditional thatched roof on one section and a clear blue swimming pool in the foreground. There are sun loungers lined up along the poolside, inviting relaxation. The architecture includes elegant archways, a balcony with wooden railings, and large windows and doors that suggest a bright and airy interior. The villa is surrounded by lush tropical vegetation, including tall palm trees, which adds to the serene and exotic ambiance of the setting.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie białej willi w regionie tropikalnym z basenem. Jesteś asystentem sztucznej inteligencji, który pisze szczegółowe oferty dla nieruchomości wynajmu wakacji. Podsumuj w trzech zdaniach optymalne cechy listy na podstawie tylko tego, co jest widoczne na obrazie. Zakończ z jednym zdaniem, dlaczego klient powinien zarezerwować dzisiaj. This idyllic villa showcases an inviting private pool with steps for easy access, framed by a beautifully tiled sun deck and comfortable loungers ideal for soaking up the sun or enjoying a good book under the shade of tropical palms. Architectural charm is evident in the villa's design, featuring elegant archways, a thatched-roof gazebo, and balconies that promise serene views and a perfect spot to savor your morning or evening beverages. The lush greenery surrounding the property not only provides privacy but also enhances the sense of an exclusive paradise retreat. Don't miss the opportunity to secure this perfect blend of luxury and tranquility – book today for a tropical escape like no other!

Te wytyczne i przykłady pokazują, jak dostosowane monity systemowe mogą znacząco zwiększyć wydajność modeli z obsługą obrazów, zapewniając, że odpowiedzi są nie tylko dokładne, ale także doskonale dopasowane do konkretnego kontekstu zadania.