다음을 통해 공유

이미지 프롬프트 엔지니어링 기술

  • 아티클

GPT-4 Turbo with Vision 및 GPT-4o와 같은 비전 지원 채팅 모델의 잠재력을 최대한 활용하려면 프롬프트를 특정 요구에 맞게 조정해야 합니다. 프롬프트의 정확성과 효율성을 향상시키기 위한 몇 가지 지침은 다음과 같습니다.

이미지 프롬프트 작성의 기본 사항

  • 상황별 특정성: 시나리오에 컨텍스트를 추가하면 모델이 적절한 출력을 더 잘 이해할 수 있습니다. 이러한 수준의 특정성은 관련 측면에 초점을 맞추고 불필요한 세부 사항을 방지하는 데 도움이 됩니다.
  • 작업 지향 프롬프트: 특정 작업에 집중하면 해당 관점을 고려하면서 모델이 출력을 발전시키는 데 도움이 됩니다.
  • 거부 처리: 모델이 작업을 수행할 수 없음을 나타내는 경우 프롬프트를 구체화하는 것이 효과적인 솔루션이 될 수 있습니다. 보다 구체적인 프롬프트는 모델이 작업을 보다 명확하게 이해하고 더 잘 실행하도록 유도할 수 있습니다. 다음 팁에 유의하세요.
    • 모델 출력의 투명성을 높이기 위해 생성된 응답에 대한 설명 요청
    • 단일 이미지 프롬프트를 사용하는 경우 텍스트 앞에 이미지 배치
    • 먼저 모델에 이미지를 자세히 설명하도록 요청하고 설명의 특정 작업 완료
  • 예제 추가: 원하는 응답 유형을 나타내는 예제 추가
  • 요청 분석: 복잡한 요청을 단계별로 세분화하여 관리 가능한 하위 목표를 만듭니다.
  • 출력 형식 정의: markdown, JSON, HTML 등 출력에 원하는 형식을 명확하게 언급합니다. 응답에 대한 특정 구조, 길이 또는 특정 특성을 제안할 수도 있습니다.

프롬프트 입력 및 출력 예제

요구 사항에 맞게 출력을 조정하는 시스템 프롬프트를 만드는 방법에는 여러 가지가 있습니다. 다음 샘플 입력 및 출력에서는 프롬프트를 조정하여 어떻게 다른 결과를 얻을 수 있는지 보여 줍니다. 이러한 이미지를 사용하고 Azure AI Foundry 놀이터에서 시스템 프롬프트를 조정하여 직접 모델을 사용해 보세요.

상황별 특정성

컨텍스트는 모델의 피드백을 개선하는 데 도움이 될 수 있습니다. 예를 들어 제품 카탈로그에 대한 이미지 설명을 작업하는 경우 프롬프트가 명확하고 간결하게 반영되는지 확인합니다. "열정과 전문성에 초점을 맞춘 야외 하이킹 제품 카탈로그의 이미지 설명"과 같은 프롬프트는 모델이 정확하고 자세한 상황을 설명하는 응답을 생성하도록 안내합니다.

기본 프롬프트 모델 출력
숲속 캠핑 텐트와 의자 사진. 이 이미지에는 무엇이 포함되어 있나요? The image shows a camping setup in a forest area. There is a yellow tent, two folding camping chairs—one red and one blue—and a portable camping table. The surrounding area is densely populated with trees, indicating that the campsite is in a wooded region.
업데이트된 프롬프트 모델 출력
숲속 캠핑 텐트와 의자 사진. 열정과 전문성에 초점을 맞춘 야외 하이킹 제품 카탈로그의 이미지 설명 "Embark on your next outdoor adventure with our premium hiking and camping essentials! Featured here is our vibrant, spacious tent, designed to be your home away from home amidst the serenity of nature. Crafted with top-notch materials, it promises durability and comfort in any weather. Complementing the tent are our ultra-comfortable, lightweight folding chairs, available in eye-catching red and serene blue, perfect for those moments of relaxation after a day of exploration. Don't forget our sturdy, portable table, ideal for a delightful outdoor meal or a game of cards under the stars. Elevate your camping experience with our reliable products, where quality meets the great outdoors!"

작업 지향 프롬프트

명확한 응답을 얻는 한 가지 방법은 모델에 따라야 하는 구체적인 작업을 제시하는 것입니다. 이 예제에서 이 프롬프트는 보험 평가에 중요한 요소에 집중하도록 모델을 조정하여 정확도와 관련성을 높입니다.

기본 프롬프트 모델 출력
전봇대에 충돌한 자동차 사진. 이 이미지에는 무엇이 포함되어 있나요? The image shows a silver sedan that has been in an accident. The front end of the car is damaged, with the hood crumpled, and the bumper partially detached. The car is resting against a utility pole on the sidewalk, and there is visible smoke coming from the engine area, indicating a recent crash. The setting appears to be a residential street, as indicated by the presence of houses in the background, a neatly trimmed hedge, and a sidewalk.
업데이트된 프롬프트 모델 출력
전봇대에 충돌한 자동차 사진. 자동차 보험 신고를 위해 이 자동차 파손 비디오를 분석하고 파손 부분을 식별하고 자세히 나타내기 In the image provided, we observe a silver sedan that has sustained significant front-end damage. The vehicle's hood is notably crumpled, and the front bumper has suffered substantial deformation, partially detaching from the chassis. The right headlamp assembly appears to be damaged or dislodged. There is also visible damage to the front grille area. The car is in contact with a utility pole, suggesting a frontal collision with the pole at a relatively low or moderate speed. Smoke is emanating from the engine compartment, suggesting potential mechanical or electrical damage that may need further inspection for a comprehensive assessment. The airbags do not appear to be deployed in this image. The vehicle will require a detailed inspection to evaluate the full extent of structural and mechanical damage for a complete insurance report.

거부 처리

모델에서 거부 출력을 받으면 입력을 조정하여 보다 적절한 응답을 생성할 수 있는 여러 가지 방법이 있습니다. 다음은 거부를 처리하고 계속 진행하는 방법의 한 예입니다.

기본 프롬프트 모델 출력
여러 접시의 음식이 놓인 식탁 사진. 이 식사 계획 Sorry, I can't provide that information.
후속 프롬프트 모델 출력
어떤 정보가 필요한가요? I apologize for the confusion earlier. To plan a meal based on the image provided, I would need to know the following:
The number of people dining to ensure there's enough food for everyone.
Any dietary restrictions or preferences to accommodate (e.g., vegetarian, gluten-free, allergies).
The occasion or type of meal being planned (e.g., casual lunch, dinner party).
Desired balance of the meal in terms of food groups and nutrition.
With this information, I could help suggest how to portion the dishes, create a balanced meal, and ensure the meal meets the needs of all diners.

예제 추가

기본 프롬프트 모델 출력
잔디밭에 누워 있는 보더콜리 강아지의 사진. 이 강아지의 품종은 무엇이며 평균 중량과 키는 어떻게 되나요? The dog in the image appears to be a Border Collie. Border Collies are known for their intelligence, agility, and herding abilities.The average weight for a Border Collie is typically around 30-45 pounds (14-20 kilograms). As for height, Border Collies generally stand about 18-22 inches (46-56 centimeters) tall at the shoulder. These figures can vary based on the individual dog's genetics, diet, and level of activity. Border Collies are medium-sized dogs with a well-proportioned body and a high level of energy.
업데이트된 프롬프트 모델 출력
Q: 이 강아지의 품종은 무엇이며 평균 중량과 키는 어떻게 되나요? 물 위의 수영장 다이빙 보드에 앉아 있는 포메라니안 강아지의 사진.
A: 품종: 포메라니안, 평균 중량: 3-7Ibs, 평균 키: 8-14인치
잔디밭에 누워 있는 불도그 사진. A: 품종: 잉글리쉬 불독, 평균 중량: 50-55Ibs, 평균 키: 14-16인치 잔디밭에 누워 있는 보더콜리 강아지의 사진. 		A: Breed: Border Collie; average weight: 30-45 lbs; average height: 18-22 inches

요청 나누기

기본 프롬프트 모델 출력
할머니의 사과파이 조리법을 자세히 설명하는 조리법 카드 사진. 이 이미지에는 무엇이 포함되어 있나요? The image contains a recipe card titled Grandma's Apple Crumb Pie. It is noted as a Thanksgiving tradition. The ingredients listed are:
  • 5-7 apples, peeled
  • 1 9-inch pie crust
  • 3/4 cups sugar
  • 1/2 teaspoon cinnamon
  • A dash of salt
  • 3 tablespoons butter

Please note that the measurements for sugar, flour, and butter are not fully visible in the image. If needed, the standard measures for a crumb topping typically involve a combination of sugar, flour, and butter mixed together until crumbly
업데이트된 프롬프트 모델 출력
할머니의 사과파이 조리법을 자세히 설명하는 조리법 카드 사진. 여러분은 레시피를 기준으로 음식을 준비하기 위한 쇼핑 목록과 지침을 만드는 데 도움을 주는 AI 도우미입니다. 구매할 재료 목록을 제공한 다음, 레시피 카드를 기준으로 재료를 준비하는 지침 목록을 제공하세요. Sure, here's a shopping list based on the recipe card:
Shopping List:
  1. 5-7 apples (suitable for baking, such as Granny Smith or Honeycrisp)
  2. 1 ready-made pie crust (9-inch)
  3. Sugar (ensure you have enough for 1/2 cup)
  4. All-purpose flour (ensure you have enough for 3/4 cup)
  5. Ground cinnamon
  6. Salt
  7. Butter (ensure you have enough for 3 tablespoons)

Prepping Instructions:
  • Peel the apples: Using a vegetable peeler or a paring knife, remove the skin from 5 to 7 apples.
  • Core and slice the apples: Cut the apples into quarters, remove the cores, and then slice the apple quarters into thin slices or chunks, depending on your preference for pie texture.
  • Measure the ingredients: Measure out 3/4 cups of sugar, 1/2 teaspoon of cinnamon, a dash of salt (about 1/8 teaspoon), and 3 tablespoons of butter.
  • Prepare the butter: Cut the butter into small pieces to be ready to use in the recipe. It's often easier to incorporate if it's cold, so keep it refrigerated until it's needed
  • Preheat your oven according to the pie recipe's instructions so it's ready for baking once your pie is assembled.
  • Remember to follow any additional preparation or baking instructions provided in the full recipe for your apple crumb pie.

출력 형식 정의

기본 프롬프트 모델 출력
수영장이 있는 열대 지역의 흰색 빌라 사진. 이 이미지 설명 The image shows a luxurious white villa with a traditional thatched roof on one section and a clear blue swimming pool in the foreground. There are sun loungers lined up along the poolside, inviting relaxation. The architecture includes elegant archways, a balcony with wooden railings, and large windows and doors that suggest a bright and airy interior. The villa is surrounded by lush tropical vegetation, including tall palm trees, which adds to the serene and exotic ambiance of the setting.
업데이트된 프롬프트 모델 출력
수영장이 있는 열대 지역의 흰색 빌라 사진. 휴가용 임대 건물에 대한 자세한 목록을 작성하는 AI 도우미입니다. 사진 속의 풍경에 따라 목록을 가장 잘 설명하는 특성을 세 문장으로 요약합니다. 고객이 지금 당장 예약해야 하는 이유를 설명하는 한 문장으로 마무리합니다. This idyllic villa showcases an inviting private pool with steps for easy access, framed by a beautifully tiled sun deck and comfortable loungers ideal for soaking up the sun or enjoying a good book under the shade of tropical palms. Architectural charm is evident in the villa's design, featuring elegant archways, a thatched-roof gazebo, and balconies that promise serene views and a perfect spot to savor your morning or evening beverages. The lush greenery surrounding the property not only provides privacy but also enhances the sense of an exclusive paradise retreat. Don't miss the opportunity to secure this perfect blend of luxury and tranquility – book today for a tropical escape like no other!

이러한 지침과 예제는 맞춤형 시스템 프롬프트가 비전 지원 모델의 성능을 크게 향상시켜 응답이 정확할 뿐만 아니라 현재 수행 중인 작업의 특정 컨텍스트에 완벽하게 적합하도록 하는 방법을 보여 줍니다.