Оценка, развертывание и тестирование точно настроенной базовой модели

10 мин

При точной настройке базовой модели из каталога моделей в Машинное обучение Azure можно оценить модель и развернуть ее для легкого тестирования и использования модели.

Оценка точно настроенной модели

Чтобы решить, выполняется ли ваша точно настроенная модель, можно просмотреть метрики обучения и оценки.

При отправке модели для точной настройки Машинное обучение Azure создает новое задание конвейера в эксперименте. Задание конвейера включает компонент, представляющий тонкое задание модели. Вы можете анализировать журналы, метрики и выходные данные задания, выбрав завершенное задание конвейера, и изучить дополнительные сведения, выбрав конкретный компонент тонкой настройки.

Screenshot of metrics of the completed pipeline job that fine-tuned a foundation model.

Совет

В Машинное обучение Azure метрики модели отслеживаются с помощью MLflow. Если вы хотите получить доступ к метрикам и просматривать их программным способом, можно использовать MLflow в записной книжке Jupyter.

Развертывание точно настроенной модели

Чтобы протестировать и использовать настраиваемую модель, можно развернуть модель в конечной точке.

Конечная точка в Машинное обучение Azure — это интерфейс программирования приложений (API), предоставляющий обученную или точно настроенную модель, позволяя пользователям или приложениям делать прогнозы на основе новых данных.

В Машинное обучение Azure существует два типа конечной точки:

Конечные точки в режиме реального времени : предназначено для обработки немедленных или динамических прогнозов.
Конечные точки пакетной службы : оптимизировано для обработки большого объема данных одновременно.

Так как конечные точки в режиме реального времени позволяют получать немедленные прогнозы, эти конечные точки также идеально подходят для тестирования прогнозов модели.

Регистрация модели с помощью Студия машинного обучения Azure

Чтобы развернуть настраиваемую модель с помощью Студия машинного обучения Azure, можно использовать выходные данные задания тонкой настройки.

Машинное обучение Azure использует MLflow для отслеживания заданий и журналов метрик и файлов моделей. Так как MLflow интегрирован с Студия машинного обучения Azure, вы можете развернуть модель из задания с минимальными усилиями.

Сначала необходимо зарегистрировать модель из выходных данных задания. Перейдите к обзору задания, чтобы найти параметр "+ Регистрация модели ".

Screenshot of pipeline job overview with register model feature.

Зарегистрированный тип модели — MLflow и Машинное обучение Azure автоматически заполняет папку, содержащую файлы модели. Необходимо указать имя зарегистрированной модели и при необходимости версию.

Развертывание модели с помощью Студия машинного обучения Azure

После регистрации модели в рабочей области Машинное обучение Azure можно перейти к обзору модели и развернуть ее в режиме реального времени или пакетной конечной точки.

Screenshot of the deployment options from a registered model.

Например, модель можно развернуть в конечной точке в режиме реального времени, предоставив следующее:

Screenshot of the endpoint creation from a registered model.

Виртуальная машина: вычислительные ресурсы, используемые конечной точкой.
Количество экземпляров: количество экземпляров, используемых для развертывания.
Конечная точка: разверните модель в новой или существующей конечной точке.
Имя конечной точки: используется для создания URL-адреса конечной точки.
Имя развертывания: имя развернутой модели в конечной точке.

Примечание.

Можно развернуть несколько моделей в одной конечной точке. Создание конечной точки и развертывание модели в конечной точке займет некоторое время. Дождитесь, пока конечная точка и развертывание будут готовы, прежде чем пытаться протестировать или использовать развернутую модель.

Тестирование модели в Студия машинного обучения Azure

При развертывании модели в конечной точке реального времени можно быстро протестировать модель в Студия машинного обучения Azure.

Перейдите к конечной точке и изучите вкладку "Тест".

Screenshot of the test pane of a deployed model.

Так как конечная точка в режиме реального времени работает в качестве API, он ожидает входные данные в формате JSON. Пример ожидаемых выходных данных представлен на вкладке "Тест ":

{
  "input_data": {
    "columns": [
      "input_string"
    ],
    "index": [],
    "data": []
  }
}

Формат тестовых данных должен совпадать с данными обучения, за исключением столбца метки. Например, если вы хотите проверить модель, настроенную для классификации текста, необходимо указать один столбец конечной точке: предложение, которое необходимо классифицировать:

{
  "input_data": {
    "columns": [
      "input_string"
    ],
    "index": [0, 1],
    "data": [["This would be the first sentence you want to classify."], ["This would be the second sentence you want to classify."]]
  }
}

Вы можете ввести все тестовые данные в студии и выбрать "Тест" для отправки данных в конечную точку. Результат отображается в результатах теста почти сразу.