你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

图像提示工程技术

要发掘 GPT-4 Turbo with Vision 的全部潜力,必须根据特定需求定制提示。 下面是提高提示准确性和效率的一些准则。

创建图像提示的基础知识

  • 上下文具体性:将上下文添加到当前场景可让模型更好地理解适当的输出。 这种具体程度有助于专注于相关方面,并避免多余的细节。

  • 面向任务的提示:专注于具体任务有助于模型在考虑该观点的同时开发输出。

  • 处理拒绝:当模型指示无法执行任务时,优化提示可能是一种有效的解决方案。 提示越具体,模型对任务的理解就越清楚,执行效果也就越好。 记住以下提示:

    • 请求对生成的答复进行解释,以提高模型输出的透明度
    • 如果使用单图像提示,请将图像放在文本前面
    • 让模型先详细描述图像,然后再根据描述完成具体任务
  • 添加示例:添加表示要寻找的答复类型的示例

  • 分解请求:尝试分解复杂的请求以创建可管理子目标

  • 定义输出格式:明确提及输出所需的格式,例如 Markdown、JSON、HTML 等。此外,还可提供有关答复的具体结构、长度或具体属性方面的建议。

提示输入和输出示例

有多种方法可以制作系统提示,以专门根据需求定制输出。 以下示例输入和输出展示了如何通过调整提示来产生不同的结果。 在 Azure AI Studio 操场中尝试使用这些图像并调整系统提示。

上下文具体性

上下文可以帮助改进来自模型的反馈。 例如,如果你正在处理产品目录的图像描述,请确保提示以清晰简洁的方式反映这一点。 像“描述户外远足产品目录的图像,并侧重于热情和专业精神”这样的提示会指导模型生成准确且上下文丰富的答复。

基本提示 模型输出
森林中的露营帐篷和椅子的照片。 此图像中有什么? 图像为森林区域的露营供应。 有一个黄色帐篷、两把折叠露营椅(一红一蓝)和一张便携式露营桌。 周围树木茂密,表明该露营地位于树木繁茂的地区。
更新后的提示 模型输出
森林中的露营帐篷和椅子的照片。 描述户外远足产品目录的图像,并侧重于热情和专业精神。 “带着我们优质的远足和露营必需品,踏上你的下一次户外冒险之旅吧! 我们鲜亮而宽敞的帐篷,安扎在宁静的大自然中,即使你远离家园,也可让你有宾至如归的感觉。 帐篷采用顶尖的材料制成,保证在任何天气下都能提供卓越的耐用性和舒适性。 与帐篷相得益彰的是我们超级舒适、超级轻便的折叠椅,有醒目的红色和静谧蓝色可供选择,非常适合在一天的探索结束后放松身心。 还有我们坚固的便携式桌子,让你可以在闪耀的星空下享用美酒佳肴,体验玩牌的乐趣。 我们可靠的产品可以大大提升你的露营体验,让追求高品质生活的你也能享受到精彩的户外活动!”

任务导向的提示

为模型指定要遵循的具体任务是增强答复的一种方法。 在此示例中,此提示引导模型专注于对保险评估至关重要的元素,从而提高准确性和相关性。

基本提示 模型输出
一辆汽车撞上电线杆的照片。 此图像中有什么? 该图像为一辆发生事故的银色轿车。 汽车前端已损坏,引擎盖已变形,保险杠部分脱落。 这辆车靠在人行道上的电线杆上,发动机区域在冒烟,表明刚发生过事故。 背景中的房屋、修剪整齐的树篱和人行道表明,场景似乎是一条住宅区街道。
更新后的提示 模型输出
一辆汽车撞上电线杆的照片。 分析这辆车损坏视频以获取汽车保险报告,重点是查明并详细说明损坏情况 在提供的图像中,我们观察到一辆前端受到严重损坏的银色轿车。 车辆的引擎盖明显变皱,前保险杠严重变形,部分与底盘分离。 右侧前照灯组件似乎已损坏或脱落。 前格栅区域也有明显损坏。 汽车与电线杆接触,表明以相对较低或中等的速度与电线杆发生正面碰撞。 发动机舱冒烟,表明存在潜在的机械或电气损坏,可能需要进一步检查以进行全面评估。 在此图像中,安全气囊似乎并未展开。 要获得完整的保险报告,需要详细检查车辆,以评估结构和机械损坏的全部程度。

处理拒绝

当你收到模型的拒绝输出时,可以通过多种方法调整输入以生成更合适的答复。 下面的示例演示了如何处理拒绝和进展。

基本提示 模型输出
餐桌上摆放着几盘食物的照片。 安排这顿饭 抱歉,我无法提供该信息。
跟进提示 模型输出
你需要什么信息? 对于之前造成的混乱,我深表歉意。 要根据提供的图像安排膳食,我需要了解以下信息:
就餐人数,以确保每个人都有足够的食物吃。
任何需要顾及的饮食限制或偏好(例如素食主义、无麸质饮食、过敏食物)。
计划的用餐场合或膳食类型(例如休闲午餐、晚宴)。
在食品种类和营养方面期望的膳食平衡。
有了这些信息,我就可以帮助提供有关如何分配菜肴、制作均衡的膳食,以及如何确保膳食满足所有食客需求等方面的建议。

添加示例

基本提示 模型输出
一只边境牧羊犬躺在草地上的照片。 这只狗是什么品种?它的平均体重和身高是多少? 图像中的狗似乎是一只边境牧羊犬。 边境牧羊犬是一种聪明、敏捷且具有出色的牧羊能力的犬种。边境牧羊犬的平均体重通常约为 30-45 磅(14-20 公斤)。 至于身高,边境牧羊犬站立时肩高约为 18-22 英寸(46-56 厘米)。 这些数字可能因狗的遗传、饮食和活动水平而异。 边境牧羊犬是中型犬,身材非常匀称且精力充沛。
更新后的提示 模型输出
问:这只狗是什么品种?它的平均体重和身高是多少? 一只博美犬坐在游泳池跳水板上的照片。
答:品种:博美犬;平均体重:3-7 磅;平均身高:8-14 英寸
一只斗牛犬躺在草地上的照片。 品种:英国斗牛犬;平均体重:50-55 磅;平均身高:14-16 英寸一只边境牧羊犬躺在草地上的照片。
品种:边境牧羊犬;平均体重:30-45 磅;平均身高:18-22 英寸

分解请求

基本提示 模型输出
一张详细记录奶奶的面包屑苹果派食谱的食谱卡的照片。 此图像中有什么? 该图像中有一张标题为“奶奶的面包屑苹果派”的食谱卡。 这是感恩节的传统做法。 列出的原料如下:
  • 5-7 个苹果,去皮
  • 1 个 9 英寸的馅饼皮
  • 3/4 杯糖
  • 1/2 茶匙肉桂
  • 少许盐
  • 3 汤匙黄油

请注意,糖、面粉和黄油的测量结果在图像并未完全显示出来。 如果需要,面包屑配料的标准制作方法通常包括:将糖、面粉和黄油混合在一起,搅拌成絮状
更新后的提示 模型输出
一张详细记录奶奶的面包屑苹果派食谱的食谱卡的照片。 你是一个 AI 助手,可以帮助创建购物清单和根据食谱准备食物的说明。 请提供要购买的原料清单,然后提供根据食谱卡准备原料的说明清单。 下面是根据食谱卡的购物清单:
购物清单:
  1. 5-7 个苹果(适合烘焙用,如澳洲青苹果或蜜脆苹果)
  2. 1 个现成的馅饼皮(9 英寸)
  3. 糖(确保足够 1/2 杯)
  4. 多用途面粉(确保足够 3/4 杯)
  5. 肉桂粉
  6. 黄油(确保足够 3 汤匙)

准备说明:
  • 削去苹果皮:准备 5-7 个苹果,用蔬菜削皮器或削皮刀削去苹果皮。
  • 苹果去核并切片:将苹果切成四等份,去掉果核,然后根据你对馅饼质地的喜好,将苹果四等分切成薄片或块。
  • 量原料:量出 3/4 杯糖、1/2 茶匙肉桂、少许盐(约 1/8 茶匙)和 3 汤匙黄油。
  • 准备黄油:将黄油切成小块,备用。 冷黄油更容易融化,因此请将其放在冰箱冷藏,用时再取出。
  • 根据苹果派食谱的说明预热烤箱,以便在馅饼准备好后即可进行烘烤。
  • 请遵循面包屑苹果派完整食谱中提供的任何其他准备或烘焙说明。

定义输出格式

基本提示 模型输出
热带地区一座带游泳池的白色别墅的照片。 描述此图像 该图像为一栋豪华的白色别墅,有一个区域是传统的茅草屋顶,前景中是一个清澈的蓝色游泳池。 泳池边设有躺椅,不禁让人想躺下放松身心。 这座别墅采用高雅的拱门设计,阳台用木栅栏打造,窗户和房门都很宽大,让人感觉室内也会非常明亮而通风。 别墅周围环绕着茂密的热带植被,有高大的棕榈树,营造出一种宁静又充满异国情调的氛围。
更新后的提示 模型输出
热带地区一座带游泳池的白色别墅的照片。 你是一个 AI 助手,可以帮助编写度假租赁房产的详细列表。 请仅根据图像中可见的内容,用三句话总结列表的最佳特征。 用一句话来说明为什么客户应该今天预订。 这栋田园诗般的别墅设有一个迷人的私人游泳池,泳池带下水台阶,周围是贴有漂亮瓷砖的阳光甲板和舒适的躺椅,非常适合沐浴阳光或在热带棕榈树荫下阅读一本好书。 建筑魅力体现在别墅的设计,配有高雅的拱门、茅草屋顶凉亭和阳台,可欣赏宁静的景色,是你早晚享用饮品的理想场所。 酒店周围郁郁葱葱的绿色植物不仅保护了隐私,还增强了独特的天堂度假胜地之感。 不要错过享受奢华与宁静完美融合的机会 - 立即预订,享受无与伦比的热带度假体验!

这些指南和示例展示了定制的系统提示如何显著增强 GPT-4 Turbo with Vision 的性能,确保答复不仅准确,而且完全适合当前任务的具体环境。