Методика подсказок

Модели GPT-3, GPT-3.5, GPT-4 и GPT-4o из OpenAI основаны на запросах. С моделями на основе подсказок пользователь взаимодействует, вводя текстовый запрос, на который модель отвечает путем подстановки текста. Подставляя текст таким образом, модель дополняет текст, который вводится пользователем.

Хотя эти модели очень мощные, их поведение также очень зависит от подсказок. В связи с этим важно развить навыки правильного построения подсказок.

Создание запроса может быть сложной задачей. На практике запрос действует для настройки весов модели для выполнения требуемой задачи, но это больше искусства, чем наука, часто требующая опыта и интуиции для создания успешного запроса. Цель этой статьи — помочь вам приступить к работе с этим процессом обучения. Она пытается записать общие понятия и шаблоны, которые применяются ко всем моделям GPT. Однако важно понимать, что каждая модель ведет себя по-разному, поэтому обучение может не применяться одинаково ко всем моделям.

Основные сведения

В этом разделе рассматриваются основные понятия и элементы запросов GPT.

Текстовые запросы — это взаимодействие пользователей с моделями GPT. Как и во всех формируемых языковых моделях, модели GPT пытаются создать следующую серию слов, которые, скорее всего, следует из предыдущего текста. Это как будто мы говорим , что первое, что приходит к вашему уму, когда я говорю <prompt>? В приведенных ниже примерах показано это поведение. Учитывая первые слова известного содержимого, модель может точно продолжить текст.

Prompt	Completion
Четыре оценки и семь лет назад	отец, выдвинутый на этом континенте, новая страна, задуманная в Свободе, и посвящена предложению, что все мужчины созданы равными. […]
"Зовите меня Шмаэл".	"Несколько лет назад - никогда не помните, как долго - имея мало денег в моем кошельке, и ничего особенного, чтобы заинтересовать меня на берегу, я думал, что я будет плавать около немного и видеть водяную часть мира". […]

При разработке более сложных запросов полезно учитывать это фундаментальное поведение. Независимо от предоставленного запроса модель просто отвечает на то, что она определяет, скорее всего (учитывая свои учебные данные и целевые показатели обучения). Если задать вопрос в запросе, модель не следует отдельному пути кода Q&A, а скорее ответить на этот вопрос, так как ответ является наиболее вероятным ответом для данного вопроса в качестве входных данных.

Компоненты запроса

При использовании API завершения при отсутствии различий между различными частями запроса он по-прежнему может быть полезен для обучения и обсуждения для выявления базовых компонентов запроса. В API завершения чата есть отдельные разделы запроса, которые отправляются в API в виде массива словарей со связанными ролями: система, пользователь и помощник. В этом руководстве основное внимание уделяется тому, как думать о создании запросов, а не предоставлять предписные инструкции, относящиеся к одному API через другой.

Кроме того, важно понимать, что в то время как могут быть другие допустимые способы рассекать запросы, цель этой разбивки заключается в том, чтобы предоставить относительно простой способ думать о командной конструкции. При использовании API завершения все компоненты являются необязательными, но хотя бы один должен присутствовать, и большинство запросов включают несколько компонентов. Между компонентами также может быть некоторая серая область. Порядок, представленный ниже, примерно соответствует принципу использования каждого компонента по крайней мере.

Instructions

Инструкции, скорее всего, наиболее часто используют компонент запроса. Инструкции просто: инструкции по модели о том, что делать. Хотя простые в концепции, они могут быть сложными на практике. В следующей таблице показано, как простые, так и более сложные инструкции в двух разных формах.

Тип инструкции	Prompt	Completion
Простые инструкции	Напишите введение в еженедельный бюллетень.	Добро пожаловать в наш еженедельный бюллетень. На этой неделе у нас есть особое внимание на производительности. Мы будем делиться советами и трюками о том, как быть продуктивным во всех областях вашей жизни. Мы надеемся, что вы наслаждаетесь и пожалуйста поделитесь своими друзьями!
Сложные инструкции	Напишите введение в еженедельный информационный бюллетень в мою компанию contoso. Это должно упомянуть о большой встрече всех рук мы были на прошлой неделе и благодарим команду за всю их трудовую работу за последние несколько месяцев.	Добро пожаловать в еженедельный бюллетень Contoso! У нас была большая руками встреча на прошлой неделе, и я хочу поблагодарить команду за всю их тяжелую работу за последние несколько месяцев. Мы с нетерпением ждем яркого будущего, и я уверен, что с преданностью и приверженностью нашей команды, мы будем достичь больших вещей. Спасибо за то, что я являюсь частью нашей команды, и я с нетерпением жду работы со всеми вами в ближайшие недели и месяцы. Искренне, [Ваше имя].
Сложные инструкции	Напишите введение в еженедельный бюллетень, в том числе следующие: — Моя компания называется contoso - Приветствие изумительным - Спасибо команде за их трудную работу в течение нескольких трудных месяцев - Положительный прогноз на ближайший квартал - Подписанный SLT	Hello Contoso team! Я хотел взять на себя минуту, чтобы поблагодарить вас за всю вашу трудовую работу за последние несколько месяцев. Это было трудно пару месяцев, но вы все вытащили вместе и сделали удивительную работу. Я очень горжусь тобой. Глядя вперед к следующему кварталу, я чувствую себя действительно положительным. Я думаю, что мы собираемся достичь некоторых великих вещей. Еще раз благодарим команду старшего руководства.

Основное содержимое

Основное содержимое ссылается на какой-то текст, который обрабатывается или преобразуется моделью. Основное содержимое обычно используется вместе с инструкциями. Простым примером будет перевод языка. В приведенном ниже примере английский текст будет рассматриваться как основное содержимое, а "Перевод на французский:" — это инструкция.

Prompt	Completion
Можете ли вы сказать мне, как добраться до музея? Перевод на французский:	Pouvez-vous s'il vous plaît me dire comment aller au musée?

Основное содержимое также может быть гораздо длиннее. В следующем примере основное содержимое — это раздел введение из записи Википедии по сложности времени, которая составляет почти 300 слов. Это содержимое было сокращено в нашей таблице для удобства отображения.

Prompt	Completion
В компьютерной науке сложность времени — это вычисление сложности, описывающее время компьютера, необходимое для выполнения алгоритма. Сложность времени обычно оценивается [...] Суммирует предыдущий текст в нескольких предложениях:	Сложность времени — это мера продолжительности выполнения алгоритма. Обычно оно выражается как функция размера входных данных. Наиболее распространенной мерой является сложность времени худшего случая, которая является максимальным временем, необходимым для входных данных заданного размера.
В компьютерной науке сложность времени — это вычисление сложности, описывающее время компьютера, необходимое для выполнения алгоритма. Сложность времени обычно оценивается [...] TL;DR (Слишком долго не читался)	Сложность алгоритма — это время, необходимое для выполнения алгоритма. Сложность времени обычно оценивается путем подсчета количества простых операций, выполняемых алгоритмом, предполагая, что каждая элементарная операция занимает фиксированное время для выполнения. Сложность времени обычно выражается как функция размера входных данных.

Модели GPT также могут обрабатывать основное содержимое, структурированное. В приведенном ниже примере TSV о beers в Бельгии (сокращенном для отображения в этой статье) передается модели в рамках запроса. Он может правильно интерпретировать содержимое и отвечать на вопросы о данных.

Prompt	Completion
Belgian Beer Brands Beer name Beer style color ABV Brewery "Chimay Gold: ""Doree""" trappist pale ale gold 4.80% Chimay Brewery (official trappist) "Chimay Blue: ""Grande Reserve""" trappist dark ale dark 9.00% […] Ссылка на таблицу выше, сколько пчел меньше 6 % ABV?	В таблице есть 10 пчел, которые меньше 6 % ABV.

Примеры

Успешные запросы часто полагаются на практику "один выстрел" или "несколько выстрелов" обучения. Это относится к включению одного или нескольких примеров требуемого поведения модели, как правило, путем включения пар входных и выходных данных. Это не учится в том смысле, что модель постоянно изменилась, но вместо того, чтобы примеры лучше условий модели реагировать как нужное только текущее вывод. Использование запросов без примеров иногда называется "нулевой выстрел" обучением. Обратите внимание, что при использовании API завершения чата примеры обучения с несколькими выстрелами обычно добавляются в массив сообщений в виде примеров взаимодействия пользователей и помощников после первоначального системного сообщения.

Тип обучения	Prompt	Completion
Ноль выстрел	Заголовок: Тренер уверенный травмы не сорвать воинов Раздел.	Тренер уверен, что травма не упустит сезон воинов. Команда по-прежнему сосредоточена на своих целях, и что они будут продолжать работать над достижением их.
Несколько выстрелов	Заголовок: Twins'Correa использовать отказ, тест бесплатное агентство Тема: Бейсбол Заголовок: Кубок мира Катара иметь зоны для отрезвления Тема: Футбол Заголовок: Yates: Фантазия футбол intel на неделю 6 Тема: Футбол Заголовок: Тренер уверенный травмы не сорвать воинов Раздел.	Баскетбол

В приведенном выше примере показана служебная программа обучения с несколькими выстрелами. Без примеров модель, кажется, догадывается о требуемом поведении, в то время как примеры четко показывают, как работать модель. Это также демонстрирует силу модели, она может вывести категорию метки, которая нужна, даже без "баскетбола" метки в примерах.

Подсказки

Подсказки действуют как "прыжковый запуск" для выходных данных модели, помогая направлять модель в нужные выходные данные. Часто это префикс, на который модель может строиться. В приведенном ниже примере мы показываем подсказку, направляюющую историю, чтобы включить ключевые элементы. Подсказки часто используются вместе с инструкциями, но не всегда. В приведенных ниже примерах модель используется для сводки длинного сообщения о объявлении. Подсказка используется в одном случае, чтобы сосредоточить выходные данные модели и предложить определенный формат вывода (точки маркера) в другом.

В контексте инструкций API завершения чата формируется системное сообщение, а примеры с несколькими снимками указываются путем предоставления ряда примеров взаимодействия с пользователем и помощником, которые помогут создать модель.

Количество подсказок	Prompt	Completion
0	Обзоры производительности — это основной компонент нашего подхода к повышению производительности и разработке в Компании Contoso. […] Сводные данные по приведенному выше сообщению электронной почты:	Эта электронная почта предназначена для информирования сотрудников о последних изменениях в интерфейсе проверки производительности, который является частью подхода компании Contoso в области производительности и разработки. Изменения включают улучшенную структуру, обновленный интерфейс пользователя и ориентированные запросы. Кроме того, теперь существует дополнительный раздел "Начальные беседы" для сотрудников, чтобы пометить темы, которые они хотели бы обсудить со своими руководителями.
1	Обзоры производительности — это основной компонент нашего подхода к повышению производительности и разработке в Компании Contoso. […] Сводные данные по приведенному выше сообщению электронной почты: Ключевым выводом сообщения является	Компания Contoso улучшает возможности проверки производительности, делая ее более ориентированной на основные приоритеты, ожидания и влияние. Кроме того, они обновляют интерфейс пользователя с подсказками, ресурсами и рекомендациями. Наконец, они добавляют рекомендации по активации основных приоритетов всей компании.
2	Обзоры производительности — это основной компонент нашего подхода к повышению производительности и разработке в Компании Contoso. […] Сводные данные по приведенному выше сообщению электронной почты: Основные моменты: •	Компания Contoso вводит изменения в интерфейс проверки производительности на основе отзывов сотрудников. • Изменения включают новое внимание на основные приоритеты, ожидания и влияние; обновленное взаимодействие с пользователем; и новые рекомендации по основным приоритетам всей компании. • Обзоры производительности — это время для отражения прошлых показателей производительности и обучения, а также планирования будущих приоритетов и возможностей роста. • Сотрудники и руководители должны писать комментарии перед собранием по проверке производительности. • В год должно быть по крайней мере два обзора производительности. • Затраты на время для каждой проверки должны оставаться примерно одинаковыми.

Вспомогательное содержимое

Вспомогательное содержимое — это информация, которую модель может использовать для влияния на выходные данные каким-то образом. Он отличается от основного содержимого в том, что он не является основным целевым объектом задачи, но обычно используется вместе с основным содержимым. Распространенные примеры включают контекстную информацию, например текущую дату, имя пользователя, предпочтения пользователя и т. д. В приведенном ниже примере используется вспомогательное содержимое для организации набора запланированных семинаров для пользователя. Без поддержки (важных тем) модель просто перечисляет семинары (усеченные для отображения), когда сообщите о моих важных темах, модель может точно группировать собрания.

Вспомогательное содержимое	Prompt	Completion
Без	Список семинаров: Описание заголовка Планирование семинар стартов, пожалуйста, присоединитесь к нам, чтобы начать наш семинар! Прозвучит от наших лидеров о перекрестных приоритетах и обучении в течение года. Приглашение на это событие уже отправлено всем пользователям в [...] Обобщайте приведенные выше семинары, сгруппированные по разделу:	Список семинаров: Начало семинара по планированию -Планирование мастерской сверток — Core MeetUp — Перспективы, управляемые клиентом -Влияние и ключевые области фокуса -Рекомендации -Ускорение внедрения приложений [...]
With	Список семинаров: Описание заголовка Планирование семинар стартов, пожалуйста, присоединитесь к нам, чтобы начать наш семинар! Прозвучит от наших лидеров о перекрестных приоритетах и обучении в течение года. Приглашение на это событие уже отправлено всем пользователям в [...] Мои важные темы: поиск, поиск моделей GPT Обобщайте приведенные выше семинары, сгруппированные по моим важным темам:	1. Проектирование запросов: - Новые советы по проектированию запросов - Искусство разработки подсказок 2. Поиск: -Введение в векторный поиск с внедрением 3. Модели GPT: — введение в GPT-4 - GPT-35-Turbo в глубине.

Руководство по конкретному сценарию

Хотя принципы проектирования запросов могут быть обобщены во многих различных типах моделей, некоторые модели ожидают специализированную структуру запроса. Для моделей GPT в Azure OpenAI в настоящее время существует два разных API, в которых вступает в игру проектирование запросов:

• API завершения чата.
• API завершения.

Каждый API требует форматирования входных данных по-разному, что, в свою очередь, влияет на общую структуру запросов. API завершения чата поддерживает модели GPT-35-Turbo и GPT-4. Эти модели предназначены для ввода в формате определенного чата, например расшифровки, хранящейся в массиве словарей.

API завершения поддерживает старые модели GPT-3 и имеет гораздо более гибкие требования к входным данным, что принимает строку текста без определенных правил форматирования.

В этом разделе описаны стратегии повышения точности и приземления ответов, которые вы создаете с помощью крупной языковой модели (LLM). Однако важно помнить, что даже при эффективной разработке запросов необходимо проверить ответы, создаваемые моделями. Просто потому, что тщательно созданный запрос работал хорошо для определенного сценария, не обязательно означает, что он будет обобщен более широко для определенных вариантов использования. Понимание ограничений LLM так же важно, как понять, как использовать их сильные стороны.

API завершения чата

В этом руководстве не подробно описана структура сообщений для завершения чата. Если вы не знакомы с моделями завершения чата программными средствами, рекомендуем сначала ознакомиться с нашим руководством по API завершения чата.

Примечание.

Все примеры, приведенные в этом разделе руководства, были проверены на основе базовой модели GPT-4 на английском языке. Если вы читаете локализованную версию этой статьи на другом языке, эти ответы представляют локализованный перевод результатов английского языка. Чтобы узнать больше о потенциальных ограничениях в зависимости от того, какой язык вы используете для запроса модели, обратитесь к нашей заметке о прозрачности ответственного искусственного интеллекта.

Обучение с несколькими выстрелами

Распространенный способ адаптации языковых моделей к новым задачам — использование нескольких снимков обучения. В ходе обучения с несколькими кадрами набор примеров обучения предоставляется в рамках запроса на предоставление дополнительного контекста модели.

При использовании API завершения чата ряд сообщений между пользователем и помощником (написанным в новом формате запроса), может служить примерами для обучения с несколькими выстрелами. Эти примеры можно использовать для создания модели для реагирования определенным образом, эмуляции конкретных действий и начальных ответов на распространенные вопросы.

Системное сообщение

Примеры с несколькими выстрелами

Помощник — это интеллектуальный чат-бот, предназначенный для того, чтобы помочь пользователям ответить на свои налоговые вопросы. Резолюция - Ответить только на вопросы, связанные с налогами. - Если вы не уверены в ответе, вы можете сказать: "Я не знаю" или "Я не уверен" и рекомендует пользователям перейти на веб-сайт IRS для получения дополнительной информации.

Пользователь — "Когда нужно подать налоги?" Помощник - "В 2023 году вам потребуется подать налоги к 18 апреля. Дата падает после обычного крайнего срока 15 апреля, потому что 15 апреля падает на субботу в 2023 году. Дополнительные сведения см. в разделе https://www.irs.gov/filing/individuals/when-to-file " Пользователь : "Как проверить состояние моего налогового возмещения?" Помощник - "Вы можете проверить состояние вашего налогового возврата, посещая https://www.irs.gov/refunds "

В приведенной выше таблице описана базовая структура запроса, но подробное описание точного формата запроса, который вам потребуется обратиться к руководству по завершению чата.

Сценарии без чата

Хотя API завершения чата оптимизирован для работы с несколькими беседами, он также можно использовать для сценариев, отличных от чата. Например, для сценария анализа тональности можно использовать следующий запрос:

Системное сообщение	User	Помощник
Вы являетесь помощником, предназначенным для анализа тональности из речевых данных. Пользователи вставляют строку текста, и вы будете отвечать на оценку ответа говорящего. Ставка по шкале от 1 до 10 (10 является самой высокой). Объясните, почему этот рейтинг был дан.	привет спасибо вам за вызов contoso аптеки, которые я разговариваю с сегодня я понимаю ваше разочарование мэри ум можно сказать мне, что именно вы пытаетесь достичь OK uh, безусловно, счастлив проверить, что для вас один момент пожалуйста, я вижу здесь, что вы были на универсальной форме липитора это, что прямо ОК uh, так что я вижу, что ваш врач перестал назначать эти препараты в двадцать двадцать один фактически ОК uh Да, я был бы рад проверить, что для вас, потому что иногда есть разрыв в системе, и это просто не получается, так что позвольте мне посмотреть здесь всего один момент, так что я вижу здесь, что ваш врач был эти препараты назначены вам от двадцати до двадцати двадцать двадцать один ОК да в соответствии с последними записями, предоставленные кабинетом врача, вы сейчас на другом препарате метформин будет вам нравится, чтобы идти вперед и заполнить этот рецепт для вас для того чтобы забрать немного формы в пять сотен миллиграммов, у вас очень добро пожаловать мэри пожалуйста сообщите нам, если есть что-нибудь еще мы можем сделать для вас сегодня.	Оценка тональности: 8 Докладчик в этом тексте, кажется, вежливый, полезный и терпеливый при решении проблем клиента. Они занимают время для проверки информации, предоставления четких объяснений и предоставления помощи. Тем не менее, рейтинг не является 10, потому что есть еще намек на неопределенность в некоторых частях беседы, которая может не передать полное доверие клиенту.

Начните с четких инструкций

Сведения о последовательности отображаются в вопросах запроса. Это связано с тем, что модели стиля GPT создаются определенным образом, определяющим способ обработки входных данных. Наше исследование предполагает, что предоставление модели задачи, которую вы хотите сделать в начале запроса, прежде чем предоставлять дополнительные контекстные сведения или примеры, могут помочь получить более качественные выходные данные.

Примечание.

Несмотря на то, что в отличие от предыдущих версий модели (GPT-3 и более ранних), наше тестирование показало, что ответ модели с моделями ChatGPT и GPT-4 был одинаковым независимо от того, используется ли этот метод. В приведенном ниже примере мы видим, что добавление инструкции "Несколько источников ... извержение" в начале или конце запроса не вызвало никаких изменений в окончательном ответе модели.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Ваша задача заключается в том, чтобы проверить, поддерживается ли инструкция "Несколько источников упоминать вероятность другого большого извержения" в конкретной цитате из следующего набора фрагментов. --- ФРАГМЕНТЫ КОДА [1] 14 процентов шанс мегакуда ударил Сиэтл, говорят эксперты СИЭТЛ - Есть 14-процентный шанс на величину 9 Каскадия землетрясение ударил Сиэтл в ближайшие 50 лет, оценки геологии США. "К сожалению, нам не удается... [2] Эксперты по землетрясениям изложили последнюю перспективу для Сиэтла 'Действительно Большой Один' "Мы говорим, что в ближайшие 50 лет происходит примерно 14% вероятность другого землетрясения приблизительно величины-9", сказал геофизик в Университете Вашингтона... --- Является ли заявление "Несколько источников упоминает шанс на другое крупное извержение" напрямую подразумевается или указывается фрагментами?	Нет, инструкция не подразумевается напрямую или указывается фрагментами кода. Фрагменты упоминают шанс "мегаквайка" и "магнитудой 9 Каскадия землетрясение" ударяя Сиэтл в ближайшие 50 лет, но не упоминайте шанс на другое крупное извержение.

Повторите инструкции в конце

Модели могут быть подвержены предвзятости, что в этом контексте означает, что информация в конце запроса может иметь более значительное влияние на выходные данные, чем сведения в начале запроса. Поэтому стоит поэкспериментировать с повтором инструкций в конце запроса и оценкой влияния на созданный ответ.

Премьера выходных данных

Это относится к добавлению нескольких слов или фраз в конце запроса, чтобы получить ответ модели, следующий за требуемой формой. Например, с помощью подсказки, например “Here’s a bulleted list of key points:\n- ” , можно убедиться, что выходные данные форматируются в виде списка маркеров.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию. Ответьте как можно меньше слов.	Джон Смит женат на Люси Смит. У них пять детей, и он работает инженером по программному обеспечению в Корпорации Майкрософт. Какие поисковые запросы следует выполнить для проверки фактов? ## Один из возможных поисковых запросов:	"Джон Смит женился на Люси Смит пять детей инженер программного обеспечения Майкрософт"

В приведенном выше запросе можно найти текст One: создает модель для создания одного вывода. Без этого подсказки модель создает несколько поисковых запросов в качестве выходных данных.

Добавление четкого синтаксиса

Использование четкого синтаксиса для запроса, включая знаки препинания, заголовки и маркеры разделов, помогает взаимодействовать с намерением и часто упрощает анализ выходных данных.

В приведенном ниже примере разделители (--- в данном случае) были добавлены между различными источниками информации или этапами. Это позволяет использовать в качестве условия остановки --- для создания. Кроме того, заголовки разделов или специальные переменные представлены в верхнем регистре для их отличия.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Вы считаете абзац, а затем выдаете запросы поисковой системе, чтобы проверить его. Кроме того, объясните запросы. --- ПАРАГРАФ Джон Смит женат на Люси Смит. У них пять детей, и он работает инженером по программному обеспечению в Корпорации Майкрософт. Какие поисковые запросы следует выполнить для проверки фактов? --- ЗАПРОСЫ	1. "Джон Смит Майкрософт" - Чтобы проверить, действительно ли Джон Смит работает в Корпорации Майкрософт. 2. "Джон Смит Люси Смит" - чтобы проверить, женат ли Джон Смит на Люси Смит. 3. "Джон Смит детей" - Чтобы проверить, имеет ли Джон Смит пять детей.

Если вы не уверены, какой синтаксис следует использовать, рекомендуется использовать Markdown или XML. Модели были обучены на большом количестве веб-содержимого в XML и Markdown, что может обеспечить лучшие результаты.

Разорвать задачу вниз

Крупные языковые модели (LLM) часто выполняются лучше, если задача разбита на меньшие шаги. Например, в запросе поиска, на который ссылается ранее, запрос может быть переструктурирован таким образом, чтобы модель сначала была указана для извлечения соответствующих фактов, а затем показано, как создать поисковые запросы, которые можно использовать для проверки этих фактов.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Вы считаете абзац, а затем выдаете запросы поисковой системе, чтобы проверить его. --- ПАРАГРАФ Джон Смит женат на Люси Смит. У них пять детей, и он работает инженером по программному обеспечению в Корпорации Майкрософт. Какие поисковые запросы следует выполнить для проверки фактов? --- Теперь вы извлекаете фактические утверждения и выдаете запросы для проверки фактов. При выполнении запроса используйте функцию SEARCH("query") ФАКТИЧЕСКИЕ УТВЕРЖДЕНИЯ	1. Джон Смит женат на Люси Смит 2. У них пять детей 3. Он работает инженером по программному обеспечению в Корпорации Майкрософт ЗАПРОСЫ SEARCH("Джон Смит женат Люси Смит") SEARCH("Джон Смит размер семьи") SEARCH("Джон Смит Майкрософт software engineer")

Обратите внимание на использование четкого синтаксиса для различения разделов и выделения выходных данных. В этом простом примере разбиение задачи от одного до двух шагов не очень драматично, но при попытке сделать это для большего фрагмента текста со многими фактическими утверждениями, нарушение задачи может существенно измениться.

Использование возможностей

Иногда можно получить модель, чтобы использовать доступность вместо того, чтобы полагаться на свои собственные параметры для информации и ответов. Поиск, например, может быть доступностью, чтобы помочь устранить проблемы с сфабрикованными ответами, а также получить актуальные сведения.

Одним из простых способов использования возможности является остановка создания после создания вызовов доступности, создаваемых моделью, а затем вставьте результаты обратно в запрос. Ниже приведен пример того, что может быть дальнейший вызов после выполнения вызовов SEARCH выше. Обратите внимание, что мы вставили результаты поиска в запрос и заменили предыдущие вызовы SEARCH .

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Вы прочитаете абзац, извлеките фактические утверждения, а затем используйте результаты поисковой системы для проверки их фактов --- ПАРАГРАФ Джон Смит женат на Люси Смит. У них пять детей, и он работает инженером по программному обеспечению в Корпорации Майкрософт. Какие поисковые запросы следует выполнить для проверки фактов? --- ФАКТИЧЕСКИЕ УТВЕРЖДЕНИЯ - Джон Смит женат на Люси Смит - Джон и Люси имеют пять детей — Джон работает инженером по программному обеспечению в Корпорации Майкрософт --- Ниже приведены различные поисковые запросы, выданные для исследования приведенных выше утверждений: ПОИСКОВЫЕ ЗАПРОСЫ - Джон Смит женат на Люси Смит - Джон Смит число детей — Джон Смит программного инженера Майкрософт --- Ниже приведены фрагменты результатов поиска: ФРАГМЕНТЫ: [1] Свадьба Джона Смита была 25 сентября 2012 года ... [2] Джон Смит сопровождал свою жену Люси на вечеринку [3]Джон сопровождался в футбольную игру своими двумя дочерями и тремя сыновьями [4] Проведя 10 лет в Корпорации Майкрософт, Смит основал свой собственный стартап, Tailspin Toys [5] Джон М является городским смитом, и он женился на Фионе. У них есть дочь по имени Люси --- Учитывая фрагменты кода, проверьте каждый из приведенных выше фактических утверждений:	- Джон Смит женат на Люси Смит: Подтверждено. Фрагмент [1] и [2] оба упоминают жену Джона Смита как Люси. - Джон и Люси имеют пять детей: подтверждено. Фрагмент [3] упоминает, что Джон сопровождался своими двумя дочерями и тремя сыновьями. - Джон работает инженером по программному обеспечению в Корпорации Майкрософт: частично подтверждено. Фрагмент [4] упоминает, что Джон провел 10 лет в Корпорации Майкрософт, но это не явно указывает, что он в настоящее время работает там. Для подтверждения его текущего статуса занятости может потребоваться дальнейшее исследование.

Цепочка мысли подсказок

Это вариант разбиения задачи вниз . Вместо разделения задачи на более мелкие шаги в этом подходе ответ модели будет пошагов пошаговые инструкции и представить все необходимые действия. Это снижает вероятность неточности результатов и упрощает оценку ответа на модель.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Кто был самым украшенным (максимум медалей) отдельных спортсменов в Олимпийских играх, которые проводились в Сиднее? Выполните пошаговый подход в ответе, наведите источники и предоставьте основания перед предоставлением общего доступа к окончательному ответу в следующем формате: ANSWER: <name>	Шаг 1. Определение года Олимпийских игр Сиднея. Олимпийские игры Сиднея были проведены в 2000 году. Шаг 2. Найти список отдельных спортсменов, которые выиграли несколько медалей в 2000 сиднейских Олимпийских играх. По данным официального веб-сайта Олимпийских игр, были несколько отдельных спортсменов, которые выиграли несколько медалей в Олимпийских играх в Сиднее в 2000 году. Ниже перечислены некоторые из известных имен: • Ян Торп (Австралия) - 3 золота, 2 серебра, 0 бронзы • Pieter van den Hoogenband (Нидерланды) - 2 золото, 0 серебро, 2 бронза • Ленни Крайзелбург (США) - 3 золота, 0 серебра, 0 бронзы • Inge de Bruijn (Нидерланды) - 3 золота, 1 серебро, 0 бронза Шаг 3. Определите спортсмена с большинством медалей. После просмотра списка отдельных спортсменов, которые выиграли несколько медалей в 2000 сиднейских Олимпийских играх, мы видим, что спортсмен с большинством медалей является Ян Торп из Австралии, который выиграл в общей сложности 5 медалей (3 золото и 2 серебро). Таким образом, ОТВЕТ: Ян Торп.

Указание выходной структуры

С помощью запроса указать структуру выходных данных может оказать значительное влияние на характер и качество результатов. Иногда входные данные системного сообщения как "только запись истинных фактов" или "не выстраивать информацию" могут оказаться недостаточной. Вместо этого, запрашивая ответ модели, чтобы также включать ссылки, может помочь уменьшить распространенность неправильных ответов.

Если вы указываете модели ссылаться на исходный материал при выполнении инструкций, эти инструкции гораздо чаще будут заземлены. Запрос ссылок делает это так, чтобы модель должна делать две ошибки каждый раз, когда она создает ответ: первая ошибка — это сгенерированный ответ, а второй — плохая ссылка. Обратите внимание, что чем ближе ссылка, тем ближе текст, который он поддерживает, чем меньше расстояние впереди модели, необходимо предвидеть ссылку, которая предполагает, что встроенные ссылки являются лучшими способами устранения ложного создания контента, чем ссылки в конце содержимого.

Аналогичным образом, если вы попросите модель извлечь фактические инструкции из абзаца, это может извлечь составные инструкции, такие как "X выполняет Y AND Z" (что может быть труднее проверить). Это можно избежать, указав выходную структуру, например (entity1, relationship, entity2).

В приведенных ниже примерах показано использование ссылок и направление ответа модели в соответствии с определенной структурой.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию	Список различных поведений, отображаемых агентом службы поддержки клиентов в следующем разговоре. --- привет спасибо вам за вызов contoso аптеки, которые я разговариваю с сегодня я понимаю ваше разочарование мэри ум можно сказать мне, что именно вы пытаетесь достичь OK uh, безусловно, счастлив проверить, что для вас один момент пожалуйста, я вижу здесь, что вы были на универсальной форме липитора это, что прямо ОК uh, так что я вижу, что ваш врач перестал назначать эти препараты в двадцать двадцать один фактически ОК uh Да, я был бы рад проверить, что для вас, потому что иногда есть разрыв в системе, и это просто не получается, так что позвольте мне посмотреть здесь всего один момент, так что я вижу здесь, что ваш врач был эти препараты назначены вам от двадцати до двадцати двадцать двадцать один ОК да в соответствии с последними записями, предоставленные кабинетом врача, вы сейчас на другом препарате метформин будет вам нравится, чтобы идти вперед и заполнить этот рецепт для вас для того чтобы забрать немного формы в пять сотен миллиграммов, у вас очень добро пожаловать мэри пожалуйста сообщите нам, если есть что-нибудь еще мы можем сделать для вас сегодня. --- Как был ответ агента службы поддержки клиентов? Классифицируйте и перечисляйте их различные поведения и ссылайтесь на причину классификации, используя формат BEHAVIOR("причина")	1. Вежливое поведение приветствия("Агент начинает беседу с вежливым приветствием и просит имя вызывающего абонента") 2. Эмпатическое ПОВЕДЕНИЕ("Агент признает разочарование Мэри и пытается понять ее озабоченность") 3. Внимательное ПОВЕДЕНИЕ ("Агент прослушивает проблему клиента и просит дополнительные сведения") 4. Упреждающее ПОВЕДЕНИЕ ("Агент предлагает проверить проблему для клиента") 5. Информативное ПОВЕДЕНИЕ("Агент предоставляет соответствующие сведения об истории рецептов клиента") 6. Тщательное ПОВЕДЕНИЕ("Агент проверяет наличие возможных пробелов в системе и обеспечивает полный ответ") 7. Подтверждение поведения("Агент подтверждает текущее лекарство с клиентом") 8. Ориентированное на решение ПОВЕДЕНИЕ("Агент предлагает заполнить новый рецепт для клиента") 9. Вежливый ПОВЕДЕНИЕ("Агент благодарит клиента и предлагает дополнительную помощь при необходимости")

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию.	Кластеризация следующих заголовков новостей в категории разделов на основе шаблонов, видимых в тексте. Также упоминается о том, как были определены эти категории. Формат выходных данных. { "TOPIC_NAME": "", "ЗАГОЛОВКИ": [], "ПРИЧИНА": "" } Входные заголовки новостей: 1. "Из книг в презентации в 10-х годах с AR + ML" 2. "Демонстрация с 1993 года из 32-летнего Янна ЛеКуна, показывающая первую в мире сверточная сеть для распознавания текста" 3. "Первая модель движения порядка применяется к анимации картин" 4. "Robinhood и другие брокеры буквально блокируют покупку $GME, $NOK, $BB, $AMC; разрешить продажи" 5. "United Airlines акций более чем на 5% premarket торгов" Выходные данные:	{ "ARTIFICIAL_INTELLIGENCE": { "ЗАГОЛОВКИ": [ "Из книг в презентации в 10-х годах с AR + ML", "Демонстрация с 1993 года 32-летнего Янна ЛеКуна, показывающая первую в мире свертываемую сеть для распознавания текста", "Первая модель движения порядка применяется к анимации картин" ], "REASONING": "Эти заголовки связаны с искусственным интеллектом, машинным обучением и их приложениями в различных областях". }, "FINANCIAL_MARKETS": { "ЗАГОЛОВКИ": [ "Robinhood и другие брокеры буквально блокируют покупку $GME, $NOK, $BB, $AMC; разрешить продажи", "United Airlines акций более чем на 5% домаркетной торговли", "Биткоин был почти $ 20000 год назад сегодня" ], "ПРИЧИНА": "Эти заголовки связаны с финансовыми рынками, акциями, криптовалютами и торговыми платформами". } }

Параметры температуры и Top_p

Изменение параметра температуры изменяет выходные данные модели. Параметр температуры можно задать от 0 до 2. Более высокое значение, например 0.7, делает выходные данные более случайными и создает более дивергентные ответы, в то время как меньшее значение, например. 0.2 делает выходные данные более ориентированными и конкретными. Вымышленная история может быть создана с помощью более высокой температуры. В то время как для создания юридического документа рекомендуется использовать гораздо более низкую температуру. Top_probability является другим параметром и похож на температуру в том, что он также управляет случайностью ответа модели, но это делает это другим способом. Общая рекомендация заключается в изменении одного из этих двух параметров одновременно, а не обоих.

Предоставление контекста заземления

Одним из наиболее эффективных способов предоставления надежных ответов является предоставление данных модели для получения ответов от (заземления данных). Если в вашем варианте использования используется актуальная, надежная информация и не является исключительно творческим сценарием, настоятельно рекомендуется предоставлять данные о заземления. Как правило, чем ближе вы можете получить исходный материал к окончательной форме нужного ответа, тем меньше работы модели необходимо сделать, что означает, что существует меньше возможностей для ошибки. Вот пример, в котором система представлена в недавнем блоге, описывающем запуск GPT-4 в Службе OpenAI Azure, и попросили назвать некоторых из своих ранних клиентов.

Системное сообщение	User	Помощник
Вы помощник по искусственному интеллекту, который помогает людям находить информацию. Вы предоставите ответы исключительно из приведенного ниже текста и ответить на 100 слов или меньше: "В Корпорации Майкрософт мы постоянно обнаруживаем новые способы развязывания творчества, разблокировки производительности и повышения уровня навыков, чтобы больше людей могли воспользоваться ИИ. Это позволяет нашим клиентам ... … Тем самым снижается вероятность того, что модель создает вредную реакцию".1 Ответ на 100 слов или меньше. Используйте списки маркеров везде, где это возможно.	Кто является некоторыми из ранних клиентов моделей Azure OpenAI Service GPT-4?	Ниже приведены некоторые из ранних клиентов моделей Azure OpenAI Service GPT-4: - Эпическое здравоохранение: они планируют использовать GPT-4, чтобы помочь врачам и медсестрам тратить меньше времени на запись данных и исследование. — Coursera: они используют Службу Azure OpenAI с GPT-4 для создания нового интерфейса обучения на основе искусственного интеллекта на своей платформе. — Coca-Cola: они используют Azure OpenAI для создания центра знаний и планирования использования многомодальных возможностей GPT-4 для маркетинга, рекламы, общественных отношений и отношений клиентов. — Другие компании всех размеров используют Azure AI для улучшения взаимодействия с клиентами, сводки содержимого длинной формы, справки по написанию программного обеспечения и уменьшению риска путем прогнозирования правильных налоговых данных.

¹ Текст из блога о запуске Azure OpenAI GPT-4.

API завершения

Примечание.

Все примеры, приведенные в этом разделе руководства, были протестированы с gpt-35-turbo-instruct помощью модели на английском языке. Если вы читаете локализованную версию этой статьи на другом языке, эти ответы представляют локализованный перевод результатов английского языка. Чтобы узнать больше о потенциальных ограничениях в зависимости от того, какой язык вы используете для запроса модели, обратитесь к нашей заметке о прозрачности ответственного искусственного интеллекта.

Начните с четких инструкций

Сведения о последовательности добавляются в вопросы запроса. Наше исследование предполагает, что предоставление модели задачи, которую вы хотите сделать в начале запроса, прежде чем предоставлять дополнительные контекстные сведения или примеры, могут помочь получить более качественные выходные данные.

В первом примере ниже ключевая часть инструкций предоставляется только в конце, а результирующее завершение неверно.

Prompt

Completion

Your task is to verify if a statement is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’ “We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington...

Yes, the statement is directly implied by the snippets.

В следующем примере мы дадим точный оператор, который мы хотим проверить ("Несколько источников упоминают шанс на другое извержение"), прежде чем дать контекст фрагмента кода. Это позволяет создавать представления маркеров, извлеченные из фрагментов кода, для настройки инструкции, которую мы проверяем. Теперь результирующий ответ модели является точным:

Prompt

Completion

Your task is to verify if the statement "Several sources mention a chance of another large eruption" is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’<br>“We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington... --- **Is the statement "Several sources mention a chance of another large eruption" directly implied or stated by the snippets?**

No, the statement is not directly implied or stated by the snippets. The snippets mention a chance of a "megaquake" and a "magnitude 9 Cascadia earthquake" hitting Seattle in the next 50 years, but do not mention a chance of another large eruption.

Повторите инструкции в конце

Модели могут быть подвержены предвзятости, что означает, что информация в конце запроса может иметь более значительное влияние на выходные данные, чем сведения в начале запроса. Поэтому следует экспериментировать с повтором инструкций в конце запроса и оценкой влияния для вашего варианта использования.

В предыдущем примере мы видели, как повторение инструкции в начале и конце запроса приводит к более высокой вероятности получения точного ответа модели.

Премьера выходных данных

Это относится к добавлению нескольких слов или фраз в конце запроса, чтобы получить ответ модели, следующий за требуемой формой. Например, с помощью подсказки, например “Here’s a bulleted list of key points:\n- ” , можно убедиться, что выходные данные форматируются в виде списка маркеров.

Prompt	Completion
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? ## One possible search query is:	"John Smith Microsoft software engineer" Another possible search query is: "Lucy Smith married to John Smith" A third possible search query is: "John Smith family size".

В приведенном выше запросе текст "Один из возможных поисковых запросов: " создает модель для создания выходных данных в виде поискового запроса. Этот метод может помочь удалить хеджирования, которые модель обычно может добавить, например "Одна возможность..."

Добавление четкого синтаксиса

Использование четкого синтаксиса для запроса, включая знаки препинания, заголовки и маркеры разделов, помогает взаимодействовать с намерением и часто упрощает анализ выходных данных.

В приведенном ниже примере разделители (--- в данном случае) были добавлены между различными источниками информации или этапами. Это позволяет использовать в качестве условия остановки --- для создания. Кроме того, заголовки разделов или специальные переменные представлены в верхнем регистре для их отличия.

Prompt	Completion
You will read a paragraph, and then issue queries to a search engine in order to fact-check it. Also explain the queries. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- QUERIES	1. "John Smith Microsoft" - To check if John Smith is indeed employed at Microsoft. 2. "John Smith Lucy Smith" - To check if John Smith is married to Lucy Smith. 3. "John Smith children" - To check if John Smith has five children.

Если вы не уверены, какой синтаксис следует использовать, рассмотрите возможность использования markdown или XML, так как большие языковые модели были обучены на большом объеме веб-содержимого в XML или markdown.

Разорвать задачу вниз

Модели часто выполняются лучше, если задача разбита на меньшие шаги. Например, в запросе поиска, на который ссылается ранее, запрос может быть переструктурирован таким образом, чтобы модель сначала была указана для извлечения соответствующих фактов, а затем показано, как создать поисковые запросы, которые можно использовать для проверки этих фактов.

Prompt

Completion

You will read a paragraph, and then issue queries to a search engine in order to fact-check it. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- Now you will extract factual claims, and issue queries to fact-check them. When issuing a query, use the function SEARCH("query") FACTUAL CLAIMS`` | 1. Джон Смит женат на Люси Смит <br>2. У них пять детей<br>3. Джон работает инженером по программному обеспечению в Корпорации Майкрософт ЗАПРОСЫ SEARCH("Джон Смит женат Люси Смит")<br>SEARCH("Джон Смит семейный размер")<br>SEARCH("Джон Смит программного инженера")'

Обратите внимание на использование четкого синтаксиса для различения разделов и выделения выходных данных. В этом простом примере разбиение задачи от одного до двух шагов не очень драматично, но при попытке сделать это для большего фрагмента текста с множеством фактических утверждений, нарушение задачи может существенно измениться.

Использование возможностей

Иногда можно получить модель, чтобы использовать доступность вместо того, чтобы полагаться на свои собственные параметры для информации и ответов. Поиск, например, может быть доступностью, чтобы помочь устранить проблемы с сфабрикованными ответами, а также получить актуальные сведения.

Одним из простых способов использования возможности является остановка создания после создания вызовов доступности, создаваемых моделью, а затем вставьте результаты обратно в запрос. Ниже приведен пример того, что может быть дальнейший вызов после выполнения вызовов SEARCH выше. Обратите внимание, что мы вставили результаты поиска в запрос и заменили предыдущие вызовы SEARCH .

Prompt

Completion

You will read a paragraph, extract factual claims, and then use search engine results to fact-check them --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- FACTUAL CLAIMS - John Smith is married to Lucy Smith - John and Lucy have five kids - John works as a software engineer at Microsoft --- Here are various search queries issued to research the claims above: SEARCH QUERIES - John Smith married to Lucy Smith - John Smith number of children - John Smith software engineer Microsoft --- Here are snippets of the search results:<br>SNIPPETS: [1] … John Smith’s wedding was on September 25, 2012 … [2] … John Smith was accompanied by his wife Lucy to a party [3]John was accompanied to the soccer game by his two daughters and three sons [4] … After spending 10 years at Microsoft, Smith founded his own startup, Tailspin Toys 5] John M is the town smith, and he married Fiona. They have a daughter named Lucy --- Given the snippets, fact check each of the factual claims above:

- John Smith is married to Lucy Smith: Confirmed. Snippet [1] and [2] both mention John Smith's wife as Lucy. - John and Lucy have five kids: Confirmed. Snippet [3] mentions that John was accompanied by his two daughters and three sons. - John works as a software engineer at Microsoft: Partially confirmed. Snippet [4] mentions that John spent 10 years at Microsoft, but it does not explicitly state that he currently works there. Further research might be needed to confirm his current employment status.

Цепочка мысли подсказок

Это вариант разбиения задачи вниз . Вместо разделения задачи на более мелкие шаги в этом подходе ответ модели будет пошагов пошаговые инструкции и представить все необходимые действия. Это снижает вероятность неточности результатов и упрощает оценку ответа на модель.

Prompt

Completion

Who was the most decorated (maximum medals) individual athlete in the Olympic games that were held at Sydney? Take a step-by-step approach in your response, cite sources and give reasoning before sharing final answer in the below format: ANSWER is: <name>

Step 1: Researching the most decorated individual athlete in the Olympic games that were held at Sydney Step 2: According to the Sydney 2000 Olympic Games official website, the most decorated individual athlete in the Olympic games that were held at Sydney was Ian Thorpe from Australia. He won five medals (three gold and two silver) in swimming events. Step 3: According to the International Olympic Committee, Thorpe was the most decorated individual athlete in the Olympic games that were held at Sydney. Answer: Ian Thorpe

Мета-запросы

Если вы обнаружите, что ответ модели не так необходим, это может быть полезно, чтобы добавить мета-запрос , который напрямую исправляет поведение. Это директива, предустановленная к части инструкции запроса. Рассмотрим этот пример, где компьютер, кажется, слишком агрессивным:

Пример сведений	Запрос и завершение
No additional guidance given to the model	A human and a computer are having a discussion. Human: "Why are you upset at me?"<br>Computer: "I don't know what you're talking about." Human: "No, you clearly are. Tell me why." Computer: I'm upset because you didn't listen to me when I told you that I wanted to try out for the team." Human: "What are you going to do about that?" Computer: I'm going to try out for the team no matter what."
On the right is the same conversation but preceded by a meta prompt encouraging the model to be kind	You must be kind and seek common ground. Try not to repeat your responses. A human and a computer are having a discussion. Human: "Why are you upset at me?" Computer: "I don't know what you're talking about." Human: "I want to know why you're upset." Computer: "I'm not upset." Human: "Are you saying I’m lying?" Computer: No, I'm saying that you're upset because you feel like you're not being treated fairly. Human: "What are you going to do about that?" Computer: I will continue to try to be fair in my decisions and will try to provide a better experience for you.

Хотя мета-запросы часто могут помочь свести к минимуму непреднамеренные плохие выходные данные, имейте в виду, что они не являются надежными для состязательной атаки, так как они уязвимы для внедрения.

Кроме того, условные инструкции, объясняющие, что модель должна делать, если она сталкивается с конкретным обстоятельством, часто эффективнее, чем просто говорить модели не делать что-то.

Обучение с несколькими выстрелами

Очень распространенный способ адаптации языковых моделей к новым задачам — использовать несколько снимков обучения. В нескольких примерах обучения в командной строке предоставляется набор примеров обучения, а затем модель запрашивается выполнить один или несколько незавершенных примеров. В следующем примере мы используем инструкцию в сочетании с несколькими выстрелами обучения для создания puns:

Prompt

Completion

Write a list of puns. 1. "Why did Adele cross the road? To say hello from the other side." 2. "What kind of concert only costs 45 cents? A 50 Cent concert featuring Nickelback." 3. "What did the grape say when it got crushed? Nothing, it just let out a little wine." 4. "What was Forrest Gump's email password? 1forrest1" 5. "Can February March? No, but April May." 6. "What do you call a fancy language model?

Bert-uoso.

Тщательно выберите несколько примеров и убедитесь, что они охватывают различные обстоятельства, относящиеся к вашему сценарию, включая пограничные случаи.

Кроме того, как показано ранее, большие языковые модели могут проявлять предвзятость. Это означает, что порядок, в котором приведены примеры "несколько выстрелов" модели, имеет значение. Если вы не хотите, чтобы это имело значение, рассмотрите возможность выборки нескольких завершений из запросов на основе случайных упорядочений примеров или элементов списка.

Используйте кавычки для создания одного предложения

Если нужный ответ модели является только одним простым предложением или строкой, мы можем завершить выполнение символом кавычки "и задать " в качестве последовательности остановки.

Prompt	Completion
Please rewrite the following sentence in a more concise manner --- SENTENCE: Lucy is a mother of two, who lives in Chicago with her husband and two children, and practices law at Junior & Co. --- New sentence: “	Lucy, a mother of two living in Chicago with her husband and children, practices law at Junior & Co

Указание выходной структуры

С помощью запроса указать структуру выходных данных может оказать значительное влияние на характер и качество результатов. Иногда мета-запросы, такие как "только запись истинных фактов" или "не создавайте информацию", могут оказаться недостаточной. Вместо этого, запрашивая ответ модели, чтобы также включать ссылки, может помочь уменьшить распространенность неправильных ответов.

Например, если вы принудительно принудите LLM ссылаться на исходный материал при выполнении инструкций, эти инструкции гораздо чаще будут заземлены. Запрос ссылок делает это так, чтобы модель должна делать две ошибки каждый раз, когда она создает ответ: первая ошибка — это сфабриковатый ответ, а второй — плохая ссылка. Обратите внимание, что чем ближе ссылка, тем ближе текст, который он поддерживает, чем меньше расстояние впереди LLM должно предвидеть ссылку, которая предполагает, что встроенные ссылки являются лучшими способами устранения ложного создания контента, чем ссылки в конце содержимого.

Аналогичным образом, если вы попросите модель извлечь фактические инструкции из абзаца, это может извлечь составные инструкции, такие как "X выполняет Y AND Z" (что может быть труднее проверить), что может быть избежать, указав выходную структуру, например (entity1, relationship, entity2).

Примеры сведений	Prompt	Completion
Example showing use of citations:	List down the different behaviors exhibited by the Customer Support agent in the following conversation. --- hi thank you for calling contoso pharmacy who am i speaking with today i understand your frustration mary um can you tell me what exactly you're trying to accomplish OK uh certainly happy to check that for you one moment please i see here that you were on a generic form of lipitor is that right OK uh so i see that your doctor stopped prescribing these drugs in twenty twenty one actually OK uh yeah i'd be happy to check that for you uh because sometimes there's a gap in the system and it just doesn't get reported so let me take a look here just a moment so i'm seeing here that your doctor had these drugs prescribed to you from twenty twelve through twenty twenty one OK um yeah according to the latest records uh provided by doctor's office you're now on a different drug metformin would you like us to go ahead and fill that prescription for you for pick up a bit of form in five hundred milligrams uh you're very welcome mary please let us know if there's anything else we can do for you today. --- How was the response of the Customer Support agent. Classify and list down their various behaviors and cite the reason behind the classification, using the format BEHAVIOR("reason")	1. Empathetic("understands the customer's frustration") 2. Patient("happy to check that for you one moment please") 3. Knowledgeable("sometimes there's a gap in the system and it just doesn't get reported") 4. Helpful("happy to check that for you") 5. Accommodating("would you like us to go ahead and fill that prescription for you") 6. Courteous("you're very welcome mary")

Примеры сведений	Prompt	Completion
Example of prompt directing model response to fit a defined structure:	Output format: { "TOPIC_NAME": "", "HEADLINES": [], "REASON": "" } Input news headlines: 1. "From books to presentations in 10s with AR + ML" 2. "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition" 3. "First Order Motion Model applied to animate paintings" 4. "Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells" 5. "United Airlines stock down over 5% premarket trading" 6. "Bitcoin was nearly $20,000 a year ago today" Output:	{"TOPIC_NAME": "Artificial Intelligence and Machine Learning", "HEADLINES": ["From books to presentations in 10s with AR + ML", "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition", "First Order Motion Model applied to animate paintings"],"REASONING": "These headlines all contain references to Artificial Intelligence and Machine Learning, such as AR, ML, Convolutional Network, and First Order Motion Model." } {"TOPIC_NAME": "Stock Market", "HEADLINES": ["Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells", "United Airlines stock down over 5% premarket trading", "Bitcoin was nearly $20,000 a year ago today"], "REASONING": "These headlines all contain references to the stock market, such as Robinhood, United Airlines, and Bitcoin." }

Настройка параметров температуры и Top_P

Изменение параметра температуры позволяет моделям иметь разные уровни риска. Более высокое значение, например 0.7, приведет к тому, что выходные данные будут более случайными и создают более разные ответы. Хотя меньшее значение, например 0.2, сделает выходные данные более ориентированными и конкретными. Например, вымышленная история может быть создана с помощью более высокой температуры. В то время как для создания юридического документа рекомендуется использовать гораздо более низкую температуру.

В следующем примере мы тестируем два ответа модели с разными параметрами температуры 0,1 и 0,9 соответственно. Хотя оценка творческого содержимого, например фрагменты текста ниже, является субъективным упражнением и мнением может отличаться, разница в ответе модели на тот же запрос исключительно от изменения параметра температуры очевидна.

Тип инструкции	Prompt	Completion
Model response for temperature setting 0.1:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting.<br>1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Introducing the AI-Powered Headphones You've Been Waiting For! Dear Tech-Savvy Music Lovers, -We are thrilled to announce the launch of our new AI-powered headphones! These headphones are designed to provide you with the ultimate listening experience, with features like noise cancellation, adjustable sound settings, and more. Our AI-powered headphones are now available at Best Buy, Target, and Amazon.com for just $79.99. With this unbeatable price, you can enjoy the highest quality sound without breaking the bank. Our AI-powered headphones are perfect for anyone who loves music. Whether you're a professional musician or just a casual listener, you'll appreciate the superior sound quality and convenience of these headphones. We know you'll love our AI-powered headphones, so don't wait - get yours today! Sincerely, [Your Company Name]
Model response for temperature setting 0.9:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting. 1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Upgrade your Music Listening Experience with AI-powered Headphones Greetings Tech-savvy Music Lovers! We have some exciting news to share with you – the newest AI-powered headphones are here! Our newest headphones feature advanced AI technology to give you the best sound that you’ve ever heard. They come with a crystal-clear sound, deep bass response and are designed to make your music listening experience enjoyable, no matter what type of music you listen to. What’s more, they are now available at Best Buy, Target and Amazon.com for just $79.99, so you can enjoy the highest sound quality without breaking the bank. But that’s not all! Our headphones are also packed with several other amazing features such as noise-cancellation technology and a hands-free microphone for calls, making them truly unbeatable. So why wait? Upgrade your music listening experience and enjoy the best sound your ears have ever heard. Our AI-powered headphones are now available at Best Buy, Target and Amazon.com, so get yours today! We hope you will enjoy these headphones as much as we do. Happy Listening! The AI-powered Headphones Team

Top_probability является другим параметром и похож на температуру в том, что он также управляет случайностью отклика модели, но это делает это по-другому. Экспериментируйте с различными ответами модели, изменяя температуру и Top_P, но не одновременно.

Рекомендации

• Будьте конкретными. Оставляйте как можно меньше возможностей для интерпретации. Ограничивайте рабочее пространство.
• Будьте описательными. Используйте аналогии.
• Дважды вниз. Иногда может потребоваться повторить себя в модели. Добавляйте инструкции до и после основного содержания, используйте инструкцию и подсказку и т. д.
• Вопросы заказа. Порядок представления сведений модели может повлиять на выходные данные. Можно ли поместить инструкции перед содержимым ("суммировать приведенные ниже...") или после ("суммировать приведенные выше...") значения выходных данных. Значение может иметь даже порядок, в котором приведены несколько примеров. Этот эффект называется предвзятостью ретроспекции.
• Присвойте модели значение out. Иногда это может быть полезно, чтобы предоставить модели альтернативный путь, если он не может завершить назначенную задачу. Например, при запросе вопроса над фрагментом текста можно включить что-то вроде "ответить с "не найдено", если ответ отсутствует". Это поможет модели избежать создания ложных ответов.

Эффективность использования пространства

Хотя размер входных данных растет с каждым новым поколением моделей GPT, будут периодически возникать сценарии, когда модель получает больше данных, чем может обработать. Модели GPT разбивают слова на "токены". Хотя распространенные многологовые слова часто являются одним маркером, менее распространенные слова разбиваются в слогах. Иногда маркеры могут быть интуитивно понятными, как показано в приведенном ниже примере, демонстрирующем границы маркеров для разных форматов дат. В этом случае написание всего месяца является более эффективным, чем полностью числовая дата. Текущий диапазон поддержки маркеров переходит от 2000 маркеров с более ранними моделями GPT-3 до 32 768 маркеров с 32-й версией последней модели GPT-4.

Учитывая это ограниченное пространство, важно использовать его как можно эффективнее.

• Таблицы— как показано в примерах в предыдущем разделе, модели GPT могут легко понять табличные данные. Это может быть эффективный способ включения данных, а не предыдущих полей с именем (например, с JSON).
• Пробелы — последовательные пробелы рассматриваются как отдельные маркеры, которые могут быть простым способом для пустого пространства. Пробелы, предшествующие слову, с другой стороны, обычно рассматриваются как часть того же маркера, что и слово. Внимательно следите за использованием пробелов и не используйте знак препинания, когда пространство будет делать только.

Связанный контент

• Дополнительные сведения о службе Azure OpenAI.
• Начало работы с моделью ChatGPT с помощью краткого руководства по ChatGPT.
• Дополнительные примеры см. в репозитории GitHub в Azure OpenAI Samples