Поделиться через

Функция ai_similarity

  • Статья

Область применения:флажок Databricks SQL флажок Databricks Runtime

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

В предварительной версии:

  • Базовая языковая модель может обрабатывать несколько языков, однако эти функции настраиваются для английского языка.
  • Существует ограничение скорости для базовых API-интерфейсов модели Foundation. Ознакомьтесь с ограничениями Foundation Model API, которые предписаны до update.
  • Из-за ограничения скорости эта функция предназначена для тестирования на небольших наборах данных, которые имеют менее 100 строк. Для вариантов использования с более чем 100 строками данных Databricks рекомендует использовать ai_query и подготовленную конечную точку пропускной способности. См. раздел Выполнение пакетной инференции LLM с помощью ai_query.

Функция ai_similarity() вызывает модель создания искусственного интеллекта из API модели Databricks Foundation для сравнения двух строк и вычислений семантической оценки сходства с помощью SQL.

Требования

Внимание

Базовые модели, которые могут использоваться в настоящее время, лицензируются в соответствии с лицензией Apache 2.0, © Apache Software Foundation или LLAMA 3.1 Community License Meta © Platform, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

Databricks рекомендует просматривать эти лицензии, чтобы обеспечить соответствие любым применимым условиям. Если в будущем появятся модели, которые будут лучше работать в соответствии с внутренними эталонами Databricks, Databricks может изменить модель (и list применимых лицензий, предоставленных на этой странице).

В настоящее время GTE Large (английский) — это базовая модель, которая управляет этой функцией ИИ.

Примечание.

В Databricks Runtime 15.1 и более поздних версиях эта функция поддерживается в записных книжках Databricks, включая записные книжки, которые выполняются как задача в рабочем процессе Databricks.

Синтаксис

ai_similarity(expr1, expr2)

Аргументы

  • expr1: Выражение STRING.
  • expr2: Выражение STRING.

Возвраты

FLOAT Значение, представляющее семантику сходства между двумя входными строками. Оценка выходных данных является относительной и должна использоваться только для ранжирования. Оценка 1 означает, что два текста равны.

Примеры

> SELECT ai_similarity('Apache Spark', 'Apache Spark');
  1.0

> SELECT
   company_name
  FROM
   customers
  ORDER BY ai_similarity(company_name, 'Databricks') DESC
  LIMIT 10;

  Databricks Inc.