Развертывание моделей для пакетного вывода и прогнозирования

В этой статье описывается, что Databricks рекомендует для пакетного вывода.

Для предоставления моделей в режиме реального времени в Azure Databricks см. раздел Развертывание моделей с использованием Mosaic AI для обслуживания моделей.

Использование ai_query для вывода пакетной службы

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Databricks рекомендует использовать ai_query с моделью обслуживания для пакетного вывода. ai_query — это встроенная функция Databricks SQL, которая позволяет запрашивать существующие конечные точки обслуживания модели с помощью SQL. Было проверено, чтобы надежно и последовательно обрабатывать наборы данных в диапазоне миллиардов токенов. Дополнительные сведения об этой функции ИИ см. в ai_query.

Для быстрого экспериментирования можно использовать с конечными точками с оплатой за токен, ai_query так как эти конечные точки предварительно настроены в рабочей области.

Когда вы готовы выполнить пакетное вывод с большими или производственными данными, Databricks рекомендует использовать подготовленные конечные точки пропускной способности для повышения производительности. Чтобы создать подготовленную конечную точку пропускной способности, см. API-интерфейсы модели подготовленной пропускной способности.

• См. раздел Выполнение вывода пакета LLM с помощью ai_query.