Поделиться через

Запрос обслуживаемой модели с помощью ai_query

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

В этой статье описывается, как запрашивать конечную точку обслуживания модели из SQL.ai_query() Для вариантов использования с более чем 100 строками данных Databricks рекомендует использовать ai_query с подготовленной конечной точкой пропускной способности. См. раздел Пакетное выполнение вывода LLM с помощью ai_query.

Что такое ai_query()?

Эта ai_query() функция — это встроенная функция SQL Azure Databricks, часть функций ИИ. Он позволяет использовать эти типы моделей из запросов SQL:

  • Пользовательские модели, размещенные конечной точкой обслуживания модели.
  • Модели, размещенные API модели Databricks Foundation.
  • Внешние модели (сторонние модели, размещенные за пределами Databricks).

Сведения о синтаксисе и шаблонах конструктора см. в разделе ai_query функции.

Если эта функция используется для запроса модели , обслуживающей конечную точку, она доступна только в тех рабочих областях и регионах, где служба моделей доступна и включена.

Требования

Запрос конечной точки с помощью ai_query()

Вы можете запросить модель за конечной точкой, используя ai_query() бессерверные или профессиональные хранилища SQL. Для получения информации о форматах запросов и ответов для оценки, см. моделей основы запросов.

Примечание.

  • Для Databricks Runtime 14.2 и более поздних версий эта функция поддерживается в средах записных книжек, включая записные книжки Databricks и задания.
  • Для Databricks Runtime 14.1 и ниже эта функция не поддерживается в средах записных книжек, включая записные книжки Databricks.

Пример. Запрос большой языковой модели

В следующем примере модель за конечной sentiment-analysis точкой запрашивается с набором text данных и указывает тип возвращаемого запроса.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews
LIMIT 10

Пример. Запрос прогнозной модели

В следующем примере делается запрос к модели классификации за конечной точкой spam-classification, чтобы пакетно предсказать, является ли text спамом в таблице inbox_messages. Модель принимает 3 входных компонента: метку времени, отправитель, текст. Модель возвращает логический массив.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10