Развертывание моделей для пакетного вывода и прогнозирования
В этой статье описывается, что Databricks рекомендует для пакетного вывода.
Для предоставления моделей в режиме реального времени в Azure Databricks см. раздел Развертывание моделей с использованием Mosaic AI для обслуживания моделей.
Использование ai_query для вывода пакетной службы
Внимание
Эта функция предоставляется в режиме общедоступной предварительной версии.
Databricks рекомендует использовать ai_query с моделью обслуживания для пакетного вывода.
ai_query — это встроенная функция Databricks SQL, которая позволяет запрашивать существующие конечные точки обслуживания модели с помощью SQL. Было проверено, чтобы надежно и последовательно обрабатывать наборы данных в диапазоне миллиардов токенов. Дополнительные сведения об этой функции ИИ см. в ai_query.
Для быстрого экспериментирования ai_query можно использовать для пакетного вывода LLM с конечных точек с оплатой за токен, которые предварительно настроены в рабочей области.
Когда вы готовы выполнять пакетное прогнозирование с использованием LLM на больших или производственных данных, Databricks рекомендует использовать конечные точки с выделенной пропускной способностью для повышения производительности.
- Чтобы создать подготовленную конечную точку пропускной способности, см. API-интерфейсы модели подготовленной пропускной способности.
- См. раздел Выполнение вывода пакета LLM с помощью ai_query.
Для примера пакетного прогнозирования на традиционной модели машинного обучения см. следующую записную книжку: