Поделиться через

Пример: Создание и развертывание пользовательского навыка с помощью машинного обучения Azure (архивировано)

  • Статья

Этот пример архивируется и не поддерживается. В нем объясняется, как создать пользовательский навык с помощью Машинного обучения Azure для извлечения тональности на основе аспектов из отзывов. Это позволило правильно приписывать положительные и отрицательные эмоции в рамках одного отзыва к определенным сущностям, таким как персонал, комната, лобби или бассейн.

Чтобы обучить модель аспектного анализа тональности в Машинном обучении Azure, вы будете использовать репозиторий nlp recipes. Затем модель будет развернута в качестве конечной точки в кластере Azure Kubernetes. После развертывания конечная точка добавляется в конвейер обогащения в качестве навыка AML для использования службой Когнитивного поиска.

Предоставляется два набора данных. Если вы хотите обучить модель самостоятельно, требуется файл hotel_reviews_1000.csv. Предпочитаете пропустить шаг обучения? Скачайте hotel_reviews_100.csv.

  • Создание экземпляра Когнитивного поиска Azure
  • Создание рабочей области Машинного обучения Azure (служба поиска и рабочая область должны находиться в одной подписке)
  • Обучение и развертывание модели в кластере Azure Kubernetes
  • Связывание конвейера обогащения ИИ с развернутой моделью
  • Прием выходных данных из развернутой модели в качестве пользовательского навыка

Важный

Этот навык находится в общедоступном предварительном просмотре (дополнительные условия использования ). REST API предварительной версии поддерживает этот навык.

Необходимые условия

  • Подписка Azure— получение бесплатной подписки.
  • Служба Когнитивного поиска
  • Ресурс Cognitive Services
  • Учетная запись хранения Azure)
  • Рабочая область Машинного обучения Azure

Настройка

  • Клонируйте или скачайте содержимое образцового репозитория.
  • Извлеките содержимое, если скачивание является ZIP-файлом. Убедитесь, что файлы доступны для чтения и записи.
  • При настройке учетных записей и служб в Azure скопируйте имена и ключи в легко доступный текстовый файл. Имена и ключи будут добавлены в первую ячейку в записной книжке, где определены переменные для доступа к службам Azure.
  • Если вы не знакомы с Машинным обучением Azure и его требованиями, перед началом работы ознакомьтесь с этими документами:
  • Настройка среды разработки для Azure машинного обучения
  • Создание рабочих областей Машинного обучения Azure и управление ими на портале Azure
  • При настройке среды разработки для Машинного обучения Azure рассмотрите возможность использования облачного вычислительного экземпляра для ускорения и простоты при начале работы.
  • Отправьте файл набора данных в контейнер в учетной записи хранения. Если вы хотите выполнить учебный шаг в записной книжке, требуется более крупный файл. Если вы предпочитаете пропустить шаг обучения, рекомендуется использовать меньший файл.

Открытие записной книжки и подключение к службам Azure

  1. Поместите все необходимые сведения для переменных, которые позволят получить доступ к службам Azure в первой ячейке и запустить ячейку.
  2. При запуске второй ячейки убедитесь, что вы подключились к службе поиска для подписки.
  3. Разделы 1.1 – 1.5 создают хранилище данных службы поиска, набор навыков, индекс и индексатор.

На этом этапе можно пропустить шаги, чтобы создать набор обучающих данных и экспериментировать в Машинном обучении Azure и перейти непосредственно к регистрации двух моделей, предоставляемых в папке моделей репозитория GitHub. Если пропустить эти шаги, в ноутбуке вы перейдете сразу к разделу 3.5, Написание скрипта оценки. Это позволит сэкономить время; Действия по загрузке и отправке данных могут занять до 30 минут.

Создание и обучение моделей

В разделе 2 есть шесть ячеек, которые загружают файл GloVe встраиваний из репозитория рецептов nlp. После скачивания файл отправляется в хранилище данных Машинного обучения Azure. Файл .zip составляет около 2G, и для выполнения этих задач потребуется некоторое время. После загрузки данные обучения извлекаются, теперь вы готовы перейти к разделу 3.

Обучите модель тональности на основе аспектов и разверните свою конечную точку

Раздел 3 записной книжки обучит модели, созданные в разделе 2, зарегистрирует эти модели и развернет их как конечную точку в кластере Azure Kubernetes. Если вы не знакомы с Azure Kubernetes, настоятельно рекомендуется ознакомиться со следующими статьями, прежде чем пытаться создать кластер вывода:

Создание и развертывание кластера вывода может занять до 30 минут. Тестирование веб-службы перед переходом к последним шагам, обновление набора навыков и запуск индексатора рекомендуется.

Обновление набора навыков

Раздел 4 в записной книжке содержит четыре ячейки, которые обновляют набор навыков и индексатор. Кроме того, вы можете использовать портал для выбора и применения нового навыка к набору навыков, а затем запустить индексатор для обновления службы поиска.

На портале перейдите к набору навыков и выберите ссылку "Определение набора навыков" (JSON). На портале отобразится JSON набора навыков, созданного в первых ячейках записной книжки. Справа от отображения есть раскрывающееся меню, в котором можно выбрать шаблон определения навыка. Выберите шаблон Машинного обучения Azure (AML). укажите имя рабочей области Машинного обучения Azure и конечную точку для модели, развернутой в кластере вывода. Шаблон будет обновлён путем добавления URI конечной точки и ключа.

шаблон определения набора навыков

Скопируйте шаблон набора навыков из окна и вставьте его в определение набора навыков слева. Измените шаблон, чтобы указать отсутствующие значения для:

  • Имя
  • Описание
  • Контекст
  • Имя и источник входов
  • Название "outputs" и "targetName"

Сохраните набор навыков.

После сохранения набора навыков перейдите к индексатору и выберите ссылку "Определение индексатора" (JSON). На портале отобразится json индексатора, созданного в первых ячейках записной книжки. Сопоставления выходных полей необходимо обновить с помощью дополнительных сопоставлений полей, чтобы индексатор может обрабатывать и передавать их правильно. Сохраните изменения и нажмите кнопку "Выполнить".

Очистка ресурсов

При работе с собственной подпиской в конце проекта рекомендуется определить, нужны ли вам созданные ресурсы. Ресурсы, оставленные в рабочем состоянии, могут стоить вам денег. Вы можете удалить ресурсы по отдельности или удалить группу ресурсов, чтобы удалить весь набор ресурсов.

Ресурсы на портале можно найти и управлять ими, используя ссылку Все ресурсы или группы ресурсов на панели навигации слева.

Если вы используете бесплатную службу, помните, что вы ограничены тремя индексами, индексаторами и источниками данных. Вы можете удалить отдельные элементы на портале, чтобы остаться в пределах ограничения.