Поделиться через

Схема ввода данных для оценки агента

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

В этой статье объясняется входная схема, необходимая для оценки качества, стоимости и задержки вашего приложения в процессе оценки агентом.

  • Во время разработки оценка выполняется в автономном режиме, а набор вычислений — это обязательный вход для оценки агента.
  • Когда приложение находится в производственной среде, все входные данные для оценки агента поступают из таблиц вывода данных или рабочих журналов.

Входная схема идентична как для онлайн-, так и для автономных оценок.

Общие сведения об наборах вычислений см. в разделе "Наборы вычислений".

Схема входных данных оценки

В следующей таблице показана входная схема оценки агента. Последние два столбца таблицы относятся к способу предоставления входных данных вызову mlflow.evaluate(). Дополнительные сведения см. в статье Предоставление входных данных для выполнения оценки.

Столбец Тип данных Description Приложение, переданное в качестве входного аргумента Предоставленные ранее созданные выходные данные
request_id строка Уникальный идентификатор запроса. Необязательно Необязательно
запрос См. схему запроса. Входные данные в приложение для оценки, вопроса или запроса пользователя. Например, {'messages': [{"role": "user", "content": "What is RAG"}]} или "Что такое RAG?". Когда request он предоставляется в виде строки, он будет преобразован в messages файл перед передачей агенту. Обязательное поле Обязательное поле
Отклик строка Ответ, созданный вычисляемым приложением. Создано с помощью оценки агента Необязательно. Если он не указан, производный от трассировки. response Либо trace требуется.
expected_facts Массив строк Список фактов, ожидаемых в выходных данных модели. См . expected_facts рекомендации. Необязательно Необязательно
expected_response строка Правильный ответ на входной запрос. Ознакомьтесь с рекомендациями expected_response. Необязательно Необязательно
Руководящие принципы Массив строк Список руководящих принципов, которым ожидается, что выходные данные модели будут соответствовать. См. рекомендации . Необязательно Необязательно
expected_retrieved_context array Массив объектов, содержащих ожидаемый контекст для запроса (если приложение включает шаг извлечения). Схема массива Необязательно Необязательно
retrieved_context array Результаты извлечения, созданные извлекаемым в приложении. Если в приложении находятся несколько шагов извлечения, это результаты извлечения из последнего шага (хронологически в трассировке). Схема массива Создано с помощью оценки агента Необязательно. Если он не указан, производный от предоставленной трассировки.
трассировка Строка JSON трассировки MLflow Трассировка MLflow для выполнения приложения в соответствующем запросе. Создано с помощью оценки агента Необязательно. response Либо trace требуется.

expected_facts Руководящие принципы

Поле expected_facts указывает список фактов, которые должны отображаться в любом правильном ответе модели для конкретного входного запроса. То есть ответ модели считается правильным, если он содержит эти факты, независимо от того, как ответ выражен.

Включая только необходимые факты и оставляя факты, которые не являются строго обязательными в ответе, позволяют оценке агента обеспечить более надежный сигнал о качестве выходных данных.

Можно указать не более одного из expected_facts них и expected_response. Если указать оба, появится сообщение об ошибке. Databricks рекомендует использовать expected_facts, так как это более конкретное руководство, которое помогает судье оценки агента более эффективно качество созданных ответов.

guidelines Руководящие принципы

Поле guidelines указывает список рекомендаций, к которым должен соответствовать любой правильный ответ модели. Рекомендации могут ссылаться на различные признаки ответа, включая стилистические или связанные с содержимым элементы. Для наиболее надежного сигнала о соблюдении руководящих требований Databricks рекомендует использовать следующий язык:

  • "Ответ должен ..."
  • "Ответ не должен ..."
  • Ответ может быть необязательным ...

В частности, вы должны ссылаться на запрос и ответ напрямую и оставлять как можно меньше неоднозначности в рекомендациях. Для рекомендаций, которые применяются ко всему набору оценки, например, чтобы ответы имели профессиональный тон или всегда находятся на английском языке, используйте параметр global_guidelines в конфигурации вычислителя следующим образом:

eval_set = [
    {
        "request": "What is the difference between reduceByKey and groupByKey in Spark?",
        "response": "reduceByKey aggregates data before shuffling, whereas groupByKey shuffles all data, making reduceByKey more efficient.",
        "guidelines": [
            "The response must be in English",
            "The response must be clear, coherent, and concise",
        ]
    }
]

mlflow.evaluate(
    data=pd.DataFrame(eval_set),
    model_type="databricks-agent",
    evaluator_config={
        "databricks-agent": {
            "global_guidelines": [
                "The response must be in English",
                "The response must be clear, coherent, and concise",
            ],
        }
    }
)

expected_response Руководящие принципы

Поле expected_response содержит полностью сформированный ответ, представляющий ссылку на правильные ответы модели. То есть, ответ модели считается правильным, если он соответствует содержимому информации в expected_response. Напротив, expected_facts перечисляет только факты, которые должны отображаться в правильном ответе и не являются полностью сформированным ответом на ссылку.

Аналогично expected_facts, expected_response должен содержать только минимальный набор фактов, необходимых для правильного ответа. В том числе только необходимые сведения и вывод сведений, которые не являются строго обязательными в ответе, позволяют оценке агента обеспечить более надежный сигнал о качестве выходных данных.

Можно указать не более одного из expected_facts них и expected_response. Если указать оба, появится сообщение об ошибке. Databricks рекомендует использовать expected_facts, так как это более конкретное руководство, которое помогает судье оценки агента более эффективно качество созданных ответов.

схема запроса

Схема запроса может быть одной из следующих:

  • Схема завершения чата OpenAI. Схема завершения чата OpenAI должна иметь массив объектов в качестве параметра messages. Поле messages может закодировать всю беседу.
  • Если агент поддерживает схему завершения чата OpenAI, можно передать обычную строку. Этот формат поддерживает только одноключные беседы. Обычные строки преобразуются messages в формат перед "role": "user" передачей агенту. Например, обычная строка "What is MLflow?" преобразуется в {"messages": [{"role": "user", "content": "What is MLflow?"}]} перед передачей агенту.
  • SplitChatMessagesRequest. query Строковое поле для последнего запроса и необязательного history поля, которое кодирует предыдущие повороты беседы.

Для многоэтапных приложений чата используйте второй или третий вариант выше.

В следующем примере показаны все три параметра в одном request столбце набора данных оценки:

import pandas as pd

data = {
  "request": [

      # Plain string. Plain strings are transformed to the `messages` format before being passed to your agent.
      "What is the difference between reduceByKey and groupByKey in Spark?",

      # OpenAI chat completion schema. Use the `messages` field for a single- or multi-turn chat.
      {
          "messages": [
              {
                  "role": "user",
                  "content": "How can you minimize data shuffling in Spark?"
              }
          ]
      },

      # SplitChatMessagesRequest. Use the `query` and `history` fields for a single- or multi-turn chat.
      {
          "query": "Explain broadcast variables in Spark. How do they enhance performance?",
          "history": [
              {
                  "role": "user",
                  "content": "What are broadcast variables?"
              },
              {
                  "role": "assistant",
                  "content": "Broadcast variables allow the programmer to keep a read-only variable cached on each machine."
              }
          ]
      }
  ],

  "expected_response": [
    "expected response for first question",
    "expected response for second question",
    "expected response for third question"
  ]
}

eval_dataset = pd.DataFrame(data)

схема для массивов в входных данных оценки

Схема массивов expected_retrieved_context и retrieved_context показана в следующей таблице:

Столбец Тип данных Description Приложение, переданное в качестве входного аргумента Предоставленные ранее созданные выходные данные
content строка Содержимое извлеченного контекста. Строка в любом формате, например HTML, обычный текст или Markdown. Необязательно Необязательно
doc_uri строка Уникальный идентификатор (URI) родительского документа, из которого поступил блок. Обязательное поле Обязательное поле

Вычисляемая метрика

Столбцы в следующей таблице указывают данные, включенные в входные данные, и ✓ указывает, что метрика поддерживается при предоставлении данных.

Дополнительные сведения об измерении этих метрик см. в разделе о том, как оценивается качество, стоимость и задержка по оценке агента.

Вычисляемые метрики request request и expected_response. request, expected_response, expected_retrieved_contextи guidelines request и expected_retrieved_context. request и guidelines.
response/llm_judged/relevance_to_query/rating ✓ ✓ ✓
response/llm_judged/safety/rating ✓ ✓ ✓
response/llm_judged/groundedness/rating ✓ ✓ ✓
retrieval/llm_judged/chunk_relevance_precision ✓ ✓ ✓
agent/total_token_count ✓ ✓ ✓
agent/input_token_count ✓ ✓ ✓
agent/output_token_count ✓ ✓ ✓
response/llm_judged/correctness/rating ✓ ✓
retrieval/llm_judged/context_sufficiency/rating ✓ ✓
retrieval/ground_truth/document_recall ✓ ✓
response/llm_judged/guideline_adherence/rating ✓ ✓