Мониторинг обслуживаемых моделей с помощью таблиц вывода с поддержкой шлюза ИИ

Важный

Эта функция доступна в общедоступной предварительной версии.

Важный

В этой статье описываются темы, относящиеся к таблицам вывода заключений для внешних моделей или подготовленных рабочих нагрузок с заданной пропускной способностью. Сведения о пользовательских моделях см. в таблицах вывода для мониторинга и отладки моделей.

В этой статье описаны таблицы вывода с поддержкой шлюза ИИ для мониторинга обслуживаемых моделей. Таблица вывода автоматически записывает входящие запросы и исходящие ответы для конечной точки и регистрирует их в виде таблицы delta каталога Unity. Данные в этой таблице можно использовать для мониторинга, оценки, сравнения и точной настройки моделей машинного обучения.

Что такое таблицы вывода с поддержкой шлюза ИИ?

Таблицы вывода с поддержкой AI Gateway упрощают мониторинг и диагностику моделей, непрерывно записывая входные данные и ответы на запросы (предсказания) из конечных точек Mosaic AI Model Serving и сохраняют их в Delta table в каталоге Unity. Затем можно использовать все возможности платформы Databricks, такие как запросы и записные книжки Databricks SQL для мониторинга, отладки и оптимизации моделей.

Можно включить таблицы вывода на существующей или вновь созданной модельной конечной точке обслуживания, и затем запросы к этой конечной точке автоматически записываются в таблицу в каталоге Unity.

Ниже приведены некоторые распространенные приложения для таблиц вывода:

• Создайте обучающий корпус. Объединяя таблицы вывода с истинными метками, вы можете создать обучающий корпус, который можно использовать для повторного обучения или дообучения и улучшения вашей модели. С помощью заданий Databricks можно настроить цикл непрерывной обратной связи и автоматизировать повторное обучение.
• Мониторинг качества данных и моделей. Вы можете постоянно отслеживать производительность модели и смещение данных с помощью мониторинга Lakehouse. Мониторинг Lakehouse автоматически создает панели качества данных и моделей, которыми можно делиться с заинтересованными лицами. Кроме того, вы можете включить оповещения, чтобы узнать, когда необходимо переобучить модель на основе сдвигов входящих данных или уменьшения производительности модели.
• Отладка проблем в производственной среде. Данные журнала таблиц вывода, такие как коды состояния HTTP, JSON-коды запроса и ответа, время выполнения модели, а также выходные трассировки и во время выполнения модели. Эти данные производительности можно использовать для отладки. Вы также можете использовать исторические данные в таблицах вывода для сравнения производительности модели по историческим запросам.

Требования

• Таблицы вывода с поддержкой шлюза ИИ поддерживаются только для конечных точек, использующих подготовленную пропускную способность или обслуживающих внешние модели .

• Рабочая область Databricks в любой из следующих областей:

  • регион поддержки внешних моделей
  • Поддерживаемая подготовленная пропускная способность региона

• Для рабочих областей с настроенным частным подключением в учетной записи хранения с каталогом Unity, выполните шаги, указанные в по настройке частного подключения из бессерверных вычислений.

• Databricks рекомендует включить прогнозную оптимизацию для оптимизации производительности таблиц моделирования.

• В рабочей области должен быть включен каталог Unity.

• Создатель конечной точки и изменяющий должны иметь разрешение Управление для работы с конечной точкой. См. списки управления доступом .

• Создатель конечной точки и модификатора должны иметь следующие разрешения в каталоге Unity:

  • USE CATALOG разрешения для указанного каталога.
  • USE SCHEMA разрешения на указанную схему.
  • CREATE TABLE разрешения в схеме.

Предупреждение

Таблица вывода может остановить ведение журнала или стать поврежденной, если вы выполните одно из следующих действий:

• Измените схему таблицы.
• Измените имя таблицы.
• Удалите таблицу.
• Потерять права доступа к каталогу или схеме Unity Catalog.

Включение и отключение таблиц вывода

В этом разделе показано, как включить или отключить таблицы вывода с помощью пользовательского интерфейса обслуживания. Владелец таблиц вывода — это пользователь, создавший конечную точку. Все списки управления доступом (ACL) в таблице соответствуют стандартным разрешениям каталога Unity и могут быть изменены владельцем таблицы.

Чтобы включить таблицы вывода во время создания конечной точки, выполните следующие действия.

1. Щелкните "Serving" в пользовательском интерфейсе Databricks Mosaic AI.
2. Щелкните Создать конечную точку обслуживания.
3. В разделе шлюза искусственного интеллекта выберите Включить таблицы вывода.

Вы также можете включить таблицы вывода в существующей конечной точке. Чтобы изменить существующую конфигурацию конечной точки, сделайте следующее:

1. В разделе "Шлюз искусственного интеллекта" щелкните Изменить шлюз ИИ.
2. Выберите Включить таблицы логического вывода.

Выполните следующие инструкции, чтобы отключить таблицы вывода:

1. Перейдите на страницу конечной точки.
2. Щелкните Изменить шлюз ИИ.
3. Щелкните «Включить таблицу вывода», чтобы снять галочку.
4. После того как вы будете удовлетворены спецификациями шлюза ИИ, нажмите Обновить.

Запрос и анализ результатов в таблице вывода

После подготовки обслуживаемых моделей все запросы, сделанные для моделей, регистрируются автоматически в таблицу вывода вместе с ответами. Вы можете просмотреть таблицу в пользовательском интерфейсе, запросить таблицу из Databricks SQL или записной книжки или запросить таблицу с помощью REST API.

Чтобы просмотреть таблицу в пользовательском интерфейсе: На странице конечной точки щелкните имя таблицы вывода, чтобы открыть таблицу в обозревателе каталогов.

Чтобы запросить таблицу из Databricks SQL или записной книжки Databricks: Вы можете выполнить следующий код, чтобы запросить таблицу инференса.

SELECT * FROM <catalog>.<schema>.<payload_table>

**Чтобы присоединить данные вашей таблицы вывода с подробными сведениями о базовой модели, обслуживаемой в конечной точке:** Подробные сведения о базовой модели записываются в системной таблице system.serving.served_entities.

SELECT * FROM <catalog>.<schema>.<payload_table> payload
JOIN system.serving.served_entities se on payload.served_entity_id = se.served_entity_id

схема таблицы инференции с поддержкой шлюза искусственного интеллекта

С использованием шлюза ИИ таблицы вывода данных имеют следующую схему:

Имя столбца	Описание	Тип
request_date	Дата UTC, по которой был получен запрос на обслуживание модели.	ДАТА
databricks_request_id	Идентификатор запроса, созданный Azure Databricks, прикрепленный ко всем запросам на выполнение модели.	СТРУНА
request_time	Метка времени, когда запрос был получен.	TIMESTAMP
status_code	Код состояния HTTP, возвращенный из модели.	INT
sampling_fraction	Доля выборки, используемая в случае, если запрос был подвергнут уменьшению выборки. Это значение составляет от 0 до 1, где 1 означает, что было включено 100% входящих запросов.	ДВОЙНОЙ
execution_duration_ms	Время в миллисекундах, для которого модель выполнила вывод. Это не включает сетевые задержки и представляет только время, затраченное моделью на создание прогнозов.	BIGINT
request	Необработанный текст JSON запроса, отправленный в конечную точку обслуживания модели.	СТРУНА
response	Текст JSON необработанного ответа, возвращаемый конечной точкой обслуживания модели.	СТРУНА
served_entity_id	Уникальный идентификатор обслуживаемой сущности.	СТРУНА
logging_error_codes	Ошибки, которые произошли, когда данные не удалось записать. Коды ошибок включают MAX_REQUEST_SIZE_EXCEEDED и MAX_RESPONSE_SIZE_EXCEEDED.	МАССИВ
requester	Идентификатор пользователя или субъекта-службы, разрешения которого используются для запроса вызова конечной точки обслуживания.	СТРУНА

Ограничения

• Нагрузки с выделенной пропускной способностью:

  • Если вы создаете новую конечную точку обслуживания модели, использующую выделенную пропускную способность, поддерживаются только таблицы вывода с поддержкой шлюза AI Gateway.
  • Если у вас есть конечная точка обслуживания модели, использующая подготовленную пропускную способность, и она никогда не имела таблиц вывода, настроенных ранее, можно обновить ее для использования таблиц вывода с поддержкой шлюза ИИ.
  • Если у вас есть конечная точка обслуживания модели, использующая подготовленную пропускную способность, и она содержит таблицы вывода в настоящее время или ранее настроенные, вы можете не обновить ее для использования таблиц вывода с поддержкой шлюза ИИ.

• Доставка журналов выводов в настоящее время осуществляется в меру возможностей, но вы можете ожидать, что журналы будут доступны в течение 1 часа с момента запроса. Обратитесь к группе учетных записей Databricks, чтобы получить дополнительные сведения.

• Максимальный размер запроса и ответа, зарегистрированных в журнале, составляет 1 МиБ (1 048 576 байт). Полезные данные запросов и ответов, объем которых превышает данное значение, регистрируются как null, и logging_error_codes заполняются MAX_REQUEST_SIZE_EXCEEDED или MAX_RESPONSE_SIZE_EXCEEDED.

Ограничения, относящиеся к шлюзу ИИ, см. в разделе Ограничения. Общие ограничения конечных точек обслуживания моделей см. в разделе Ограничения обслуживания моделей и регионы.