Udostępnij za pośrednictwem

Techniki inżynierii monitu o obraz

  • Artykuł

Aby odblokować pełny potencjał GPT-4 Turbo z wizją, niezbędne jest dostosowanie monitów do konkretnych potrzeb. Poniżej przedstawiono kilka wskazówek, aby zwiększyć dokładność i wydajność monitów.

Podstawy tworzenia monitu o obraz

  • Kontekstowa specyfika: dodanie kontekstu do scenariusza daje modelowi lepsze zrozumienie odpowiednich danych wyjściowych. Ten poziom szczegółowości pomaga skupić się na odpowiednich aspektach i unikać dodatkowych szczegółów.

  • Monity zorientowane na zadania: skupienie się na konkretnym zadaniu ułatwia modelowi opracowywanie danych wyjściowych przy jednoczesnym uwzględnieniu tej perspektywy.

  • Obsługa odmowy: gdy model wskazuje niezdolność do wykonania zadania, uściślianie monitu może być skutecznym rozwiązaniem. Bardziej szczegółowe monity mogą kierować modelem do jaśniejszego zrozumienia i lepszego wykonania zadania. Kilka wskazówek, które należy wziąć pod uwagę:

    • Zażądaj wyjaśnień dla wygenerowanych odpowiedzi w celu zwiększenia przejrzystości w danych wyjściowych modelu
    • Jeśli używasz monitu o jeden obraz, umieść obraz przed tekstem
    • Poproś model o opisanie obrazu w szczegółach i ukończenie określonego zadania w opisie

  • Dodawanie przykładów: Dodaj przykłady reprezentujące typ odpowiedzi, których szukasz

  • Podział żądań: spróbuj podzielić złożone żądania krok po kroku, aby utworzyć możliwe do zarządzania cele podrzędne

  • Zdefiniuj format danych wyjściowych: wyraźnie podaj żądany format dla danych wyjściowych, takich jak markdown, JSON, HTML itp. Możesz również zasugerować określoną strukturę, długość lub określone atrybuty dotyczące odpowiedzi.

Przykładowe monity wejściowe i wyjściowe

Istnieje wiele sposobów tworzenia monitów systemowych, aby dostosować dane wyjściowe specjalnie do Twoich potrzeb. W poniższych przykładowych danych wejściowych i wyjściowych pokazano, jak dostosowywanie monitów może dać różne wyniki. Wypróbuj model dla siebie przy użyciu tych obrazów i dostosuj monit systemowy na placu zabaw usługi Azure AI Studio.

Kontekstowa specyfika

Kontekst może pomóc w ulepszaniu opinii na podstawie modelu. Jeśli na przykład pracujesz nad opisami obrazów dla katalogu produktów, upewnij się, że monit odzwierciedla to w przejrzysty i zwięzły sposób. Monit, taki jak "Opisywanie obrazów dla katalogu produktów turystycznych na świeżym powietrzu, skupienie się na entuzjazmie i profesjonalizmie" prowadzi model do generowania odpowiedzi, które są zarówno dokładne, jak i kontekstowo bogate.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie namiotu kempingowego i krzesła w lesie. Co znajduje się na tym obrazie? Obraz przedstawia konfigurację kempingu w lesie. Jest żółty namiot, dwa składane krzesła kempingowe — jeden czerwony i niebieski — i przenośny stół kempingowy. Okolice są gęsto zaludnione drzewami, co wskazuje, że kemping znajduje się w zalesionym regionie.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie namiotu kempingowego i krzesła w lesie. Opisywanie obrazów dla katalogu produktów turystycznych na świeżym powietrzu, koncentrując się na entuzjazmie i profesjonalizmie. "Wyrusz na kolejną przygodę na świeżym powietrzu z naszymi podstawowymi wędrówkami i kempingiem! Polecane tutaj jest nasz żywy, przestronny namiot, zaprojektowany, aby być twoim domem z dala od domu wśród spokoju natury. Wykonane z najwyższej klasy materiałów, obiecuje trwałość i komfort w każdej pogodzie. Uzupełnieniem namiotu są nasze ultrawygodne, lekkie krzesła składane, dostępne w przyciągającym wzrok kolorze czerwonym i spokojnym niebieskim, idealnym rozwiązaniem dla tych chwil relaksu po dniu eksploracji. Nie zapomnij o naszym solidnym, przenośnym stole, idealnym do wspaniałego posiłku na świeżym powietrzu lub gry kart pod gwiazdami. Podnieś swoje doświadczenie kempingowe dzięki naszym niezawodnym produktom, gdzie jakość spełnia wspaniałe warunki na świeżym powietrzu!"

Monity zorientowane na zadania

Nadanie modelowi konkretnego zadania do wykonania jest jednym ze sposobów wyostrzenia odpowiedzi. W tym przykładzie ten monit kieruje model, aby skoncentrował się na elementach kluczowych dla ocen ubezpieczeniowych, zwiększając w ten sposób dokładność i trafność.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie samochodu rozbiło się na słupie. Co znajduje się na tym obrazie? Obraz pokazuje srebrny sedan, który był w wypadku. Przedni koniec samochodu jest uszkodzony, z kapturem zgniętą, a zderzak częściowo odłączony. Samochód spoczywa na słupie użyteczności publicznej na chodniku, a widoczny dym pochodzi z obszaru silnika, co wskazuje na niedawny wypadek. Ustawienie wydaje się być ulicą mieszkaniową, jak wskazuje obecność domów w tle, starannie przycięty żywopłot i chodnik.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie samochodu rozbiło się na słupie. Analizowanie tego wideo o szkodach samochodowych w raporcie dotyczącym ubezpieczenia samochodowego, koncentrując się na identyfikacji i wyszczególnieniu szkód Na podanym obrazie obserwujemy srebrny sedan, który doznał znacznego uszkodzenia frontonu. Maska pojazdu jest szczególnie zagnieżdżone, a zderzak przedni doznał znacznej deformacji, częściowo odłączając się od podwozia. Prawy zestaw reflektorów wydaje się być uszkodzony lub usunięty. Widoczne są również uszkodzenia przedniej kratki. Samochód jest w kontakcie z biegunem użyteczności publicznej, co sugeruje kolizję przednią z biegunem przy stosunkowo niskiej lub umiarkowanej prędkości. Dym emanuje z przedziału silnika, sugerując potencjalne uszkodzenia mechaniczne lub elektryczne, które mogą wymagać dalszej kontroli w celu przeprowadzenia kompleksowej oceny. Poduszki powietrzne nie wydają się być wdrożone na tym obrazie. Pojazd będzie wymagał szczegółowej kontroli w celu oceny pełnego zakresu uszkodzeń strukturalnych i mechanicznych dla kompletnego raportu ubezpieczeniowego.

Obsługa odmowy

W przypadku otrzymania danych wyjściowych odmowy z modelu istnieje kilka sposobów dostosowywania danych wejściowych w celu wygenerowania bardziej odpowiedniej odpowiedzi. Poniżej przedstawiono jeden przykład sposobu radzenia sobie z odmową i postępem.

Monit podstawowy Dane wyjściowe modelu
Zdjęcie stołu obiadowego z kilkoma talerzami jedzenia. Zaplanuj ten posiłek Niestety, nie mogę podać tych informacji.
Monit z monitem Dane wyjściowe modelu
Jakich informacji potrzebujesz? Przepraszam za zamieszanie wcześniej. Aby zaplanować posiłek na podstawie dostarczonego obrazu, muszę znać następujące kwestie:
Liczba osób, które jeść, aby zapewnić, że jest wystarczająca ilość jedzenia dla wszystkich.
Wszelkie ograniczenia diety lub preferencje, aby pomieścić (np. wegetariańskie, bezglutenowe, alergie).
Okazja lub rodzaj planowanego posiłku (np. dorywczo obiad, kolacja).
Pożądana równowaga posiłku pod względem grup żywności i żywienia.
Dzięki tym informacjom mógłbym pomóc zasugerować, jak posiekać potrawy, stworzyć zrównoważony posiłek i zapewnić, że posiłek spełnia potrzeby wszystkich diners.

Dodawanie przykładów

Monit podstawowy Dane wyjściowe modelu
Zdjęcie psa collie border collie kładącego się w polu trawiastym. Jaka jest ta rasa psów i jaka jest jej średnia waga i wysokość? Pies na obrazie wydaje się być Border Collie. Border Collies są znane z ich inteligencji, elastyczności i zdolności stada. Średnia waga dla Border Collie wynosi zwykle około 30-45 funtów (14-20 kilogramów). Jeśli chodzi o wysokość, Border Collies zazwyczaj stoją około 18-22 cali (46-56 centymetrów) wysoki na ramieniu. Dane te mogą się różnić w zależności od genetyki, diety i poziomu aktywności poszczególnych psów. Border Collies to średniej wielkości psy o dobrze proporcjonalnym ciele i wysokim poziomie energii.
Zaktualizowany monit Dane wyjściowe modelu
.: Jaka jest ta rasa psów i jaka jest jej średnia waga i wysokość? Zdjęcie psa z dziećmi siedzącego na pokładzie nurkowym na basenie nad wodą.
Ach: Rasa: chrzędnia; średnia waga: 3–7lbs; średnia wysokość: 8-14 cali
Zdjęcie buldoga leżącego na boisku trawiastym. A: Rasa: Angielski buldog; średnia waga: 50-55lbs; średnia wysokość: 14-16 cali Zdjęcie psa collie border collie kładącego się w polu trawiastym. 		A: Rasa: Border Collie; średnia waga: 30-45lbs; średnia wysokość: 18-22 cali

Podział żądań

Monit podstawowy Dane wyjściowe modelu
Zdjęcie karty przepis szczegółowo przepis przepis na Grandma's Apple Crumb Pie. Co znajduje się na tym obrazie? Obraz zawiera kartę przepisu zatytułowaną Apple Crumb Pie Babcia. Jest on znany jako tradycja dziękczynna. Wymienione składniki to:
  • 5-7 jabłek, obrane
  • 1 9-calowa skorupa kołowa
  • 3/4 szklanki cukru
  • 1/2 łyżeczka cynamonu
  • Kreska soli
  • 3 łyżki masła

Należy pamiętać, że pomiary cukru, mąki i masła nie są w pełni widoczne na obrazie. W razie potrzeby standardowe miary toppingu okruchu zwykle obejmują połączenie cukru, mąki i masła mieszanego razem do okruchu
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie karty przepis szczegółowo przepis przepis na Grandma's Apple Crumb Pie. Jesteś asystentem sztucznej inteligencji, który pomaga tworzyć listy zakupów i instrukcje przygotowywania żywności na podstawie przepisów. Podaj listę składników do zakupu, a następnie podaj listę instrukcji przygotowywania składników na podstawie karty przepisu. Oczywiście, oto lista zakupów oparta na karcie przepisu:
Lista zakupów:
  1. 5-7 jabłek (odpowiednie do pieczenia, takich jak Granny Smith lub Honeycrisp)
  2. 1 gotowa skorupa kołowa (9 cali)
  3. Cukier (upewnij się, że masz wystarczająco dużo na 1/2 szklanki)
  4. Mąka ogólnego przeznaczenia (upewnij się, że masz wystarczającą ilość do 3/4 szklanki)
  5. Cynamon z ziemi
  6. Salt
  7. Masło (upewnij się, że masz wystarczająco dużo na 3 łyżki)

Instrukcje wstępne:
  • Obrać jabłka: Używając skórki warzyw lub noża do paringu, usuń skórę z 5 do 7 jabłek.
  • Rdzeń i pokroić jabłka: Pokroić jabłka w ćwiartki, usunąć rdzenie, a następnie pokroić kwartały jabłek w cienkie plasterki lub kawałki, w zależności od preferencji tekstury kołowej.
  • Miara składników: Zmierz 3/4 szklanki cukru, 1/2 łyżeczki cynamonu, kreskę soli (około 1/8 łyżeczki) i 3 łyżki masła.
  • Przygotuj masło: Pokroić masło na małe kawałki, aby być gotowym do użycia w przepisie. Często łatwiej jest uwzględnić, jeśli jest zimno, więc zachowaj je w lodówce, dopóki nie będzie potrzebne
  • Rozgrzej piekarnik zgodnie z instrukcjami przepis na ciasto, więc jest gotowy do pieczenia po montażu ciasta.
  • Pamiętaj, aby postępować zgodnie z dodatkowymi instrukcjami przygotowywania lub pieczenia podanymi w pełnym przepisie na ciasto miękiszowe jabłek.

Definiowanie formatu danych wyjściowych

Monit podstawowy Dane wyjściowe modelu
Zdjęcie białej willi w regionie tropikalnym z basenem. Opisz ten obraz Obraz przedstawia luksusową białą willę z tradycyjnym dachem odsuniętym na jedną sekcję i jasnym niebieskim basenem na pierwszym planie. Obok basenu znajdują się leżaki, które zapraszają na relaks. Architektura obejmuje eleganckie łuki, balkon z drewnianymi poręczami oraz duże okna i drzwi, które sugerują jasne i przewiewne wnętrze. Willa jest otoczona bujną roślinnością tropikalną, w tym wysokimi palmami, co dodaje do spokojnej i egzotycznej atmosfery otoczenia.
Zaktualizowany monit Dane wyjściowe modelu
Zdjęcie białej willi w regionie tropikalnym z basenem. Jesteś asystentem sztucznej inteligencji, który pisze szczegółowe oferty dla nieruchomości wynajmu wakacji. Podsumuj w trzech zdaniach optymalne cechy listy na podstawie tylko tego, co jest widoczne na obrazie. Zakończ z jednym zdaniem, dlaczego klient powinien zarezerwować dzisiaj. Ta idylliczna willa prezentuje zapraszający prywatny basen z krokami, aby uzyskać łatwy dostęp, otoczony pięknie kafelkami taras słoneczny i wygodne leżaki idealne do moczenia słońca lub cieszyć się dobrą książką pod cieniem tropikalnych palm. Urok architektoniczny jest widoczny w projekcie willi, wyposażony w eleganckie łuki, sosy dachowej i balkony, które obiecują spokojne widoki i idealne miejsce, aby rozkoszować się porannym lub wieczornym napojem. Bujna zielenia wokół obiektu nie tylko zapewnia prywatność, ale także zwiększa poczucie ekskluzywnych rekolekcje raju. Nie przegap okazji, aby zabezpieczyć tę idealną mieszankę luksusu i spokoju - zarezerwuj dziś na tropikalną ucieczkę jak żaden inny!

Te wytyczne i przykłady pokazują, jak dostosowane monity systemowe mogą znacznie zwiększyć wydajność GPT-4 Turbo z wizją, zapewniając, że odpowiedzi są nie tylko dokładne, ale także doskonale dostosowane do konkretnego kontekstu zadania.