你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
图像提示工程技术
要发掘 GPT-4 Turbo with Vision 的全部潜力,必须根据特定需求定制提示。 下面是提高提示准确性和效率的一些准则。
创建图像提示的基础知识
上下文具体性:将上下文添加到当前场景可让模型更好地理解适当的输出。 这种具体程度有助于专注于相关方面,并避免多余的细节。
面向任务的提示:专注于具体任务有助于模型在考虑该观点的同时开发输出。
处理拒绝:当模型指示无法执行任务时,优化提示可能是一种有效的解决方案。 提示越具体,模型对任务的理解就越清楚,执行效果也就越好。 记住以下提示:
- 请求对生成的答复进行解释,以提高模型输出的透明度
- 如果使用单图像提示,请将图像放在文本前面
- 让模型先详细描述图像,然后再根据描述完成具体任务
- 请求对生成的答复进行解释,以提高模型输出的透明度
添加示例:添加表示要寻找的答复类型的示例
分解请求:尝试分解复杂的请求以创建可管理子目标
定义输出格式:明确提及输出所需的格式,例如 Markdown、JSON、HTML 等。此外,还可提供有关答复的具体结构、长度或具体属性方面的建议。
提示输入和输出示例
有多种方法可以制作系统提示,以专门根据需求定制输出。 以下示例输入和输出展示了如何通过调整提示来产生不同的结果。 在 Azure AI Studio 操场中尝试使用这些图像并调整系统提示。
上下文具体性
上下文可以帮助改进来自模型的反馈。 例如,如果你正在处理产品目录的图像描述,请确保提示以清晰简洁的方式反映这一点。 像“描述户外远足产品目录的图像,并侧重于热情和专业精神”这样的提示会指导模型生成准确且上下文丰富的答复。
基本提示 | 模型输出 |
---|---|
此图像中有什么? | 图像为森林区域的露营供应。 有一个黄色帐篷、两把折叠露营椅(一红一蓝)和一张便携式露营桌。 周围树木茂密,表明该露营地位于树木繁茂的地区。 |
任务导向的提示
为模型指定要遵循的具体任务是增强答复的一种方法。 在此示例中,此提示引导模型专注于对保险评估至关重要的元素,从而提高准确性和相关性。
基本提示 | 模型输出 |
---|---|
此图像中有什么? | 该图像为一辆发生事故的银色轿车。 汽车前端已损坏,引擎盖已变形,保险杠部分脱落。 这辆车靠在人行道上的电线杆上,发动机区域在冒烟,表明刚发生过事故。 背景中的房屋、修剪整齐的树篱和人行道表明,场景似乎是一条住宅区街道。 |
处理拒绝
当你收到模型的拒绝输出时,可以通过多种方法调整输入以生成更合适的答复。 下面的示例演示了如何处理拒绝和进展。
基本提示 | 模型输出 |
---|---|
安排这顿饭 | 抱歉,我无法提供该信息。 |
跟进提示 | 模型输出 |
---|---|
你需要什么信息? | 对于之前造成的混乱,我深表歉意。 要根据提供的图像安排膳食,我需要了解以下信息: 就餐人数,以确保每个人都有足够的食物吃。 任何需要顾及的饮食限制或偏好(例如素食主义、无麸质饮食、过敏食物)。 计划的用餐场合或膳食类型(例如休闲午餐、晚宴)。 在食品种类和营养方面期望的膳食平衡。 有了这些信息,我就可以帮助提供有关如何分配菜肴、制作均衡的膳食,以及如何确保膳食满足所有食客需求等方面的建议。 |
添加示例
基本提示 | 模型输出 |
---|---|
这只狗是什么品种?它的平均体重和身高是多少? | 图像中的狗似乎是一只边境牧羊犬。 边境牧羊犬是一种聪明、敏捷且具有出色的牧羊能力的犬种。边境牧羊犬的平均体重通常约为 30-45 磅(14-20 公斤)。 至于身高,边境牧羊犬站立时肩高约为 18-22 英寸(46-56 厘米)。 这些数字可能因狗的遗传、饮食和活动水平而异。 边境牧羊犬是中型犬,身材非常匀称且精力充沛。 |
更新后的提示 | 模型输出 |
---|---|
问:这只狗是什么品种?它的平均体重和身高是多少?
答:品种:博美犬;平均体重:3-7 磅;平均身高:8-14 英寸 品种:英国斗牛犬;平均体重:50-55 磅;平均身高:14-16 英寸 |
品种:边境牧羊犬;平均体重:30-45 磅;平均身高:18-22 英寸 |
分解请求
基本提示 | 模型输出 |
---|---|
此图像中有什么? | 该图像中有一张标题为“奶奶的面包屑苹果派”的食谱卡。 这是感恩节的传统做法。 列出的原料如下:
请注意,糖、面粉和黄油的测量结果在图像并未完全显示出来。 如果需要,面包屑配料的标准制作方法通常包括:将糖、面粉和黄油混合在一起,搅拌成絮状 |
定义输出格式
基本提示 | 模型输出 |
---|---|
描述此图像 | 该图像为一栋豪华的白色别墅,有一个区域是传统的茅草屋顶,前景中是一个清澈的蓝色游泳池。 泳池边设有躺椅,不禁让人想躺下放松身心。 这座别墅采用高雅的拱门设计,阳台用木栅栏打造,窗户和房门都很宽大,让人感觉室内也会非常明亮而通风。 别墅周围环绕着茂密的热带植被,有高大的棕榈树,营造出一种宁静又充满异国情调的氛围。 |
这些指南和示例展示了定制的系统提示如何显著增强 GPT-4 Turbo with Vision 的性能,确保答复不仅准确,而且完全适合当前任务的具体环境。