Пример. Создание и развертывание пользовательского навыка с помощью Машинного обучения Azure (архив)

Этот пример архивирован и не поддерживается. В нем объясняется, как создать пользовательский навык с помощью Машинного обучения Azure для извлечения тональности на основе аспектов из проверок. Это позволило правильно приписать положительные и отрицательные тональности в рамках одной и той же проверки определенным сущностям, таким как персонал, комната, вестибюль или пул.

Для обучения аспектной модели тональности в службе "Машинное обучение Azure" вы будете использовать репозиторий рецептов NLP. Затем модель будет развернута в качестве конечной точки в кластере Azure Kubernetes. После развертывания конечная точка добавляется в конвейер обогащения в качестве навыка Машинного обучения Azure для использования службой "Когнитивный поиск".

В этом сценарии предоставляется два набора данных. Если вы хотите самостоятельно обучить модель, потребуется файл hotel_reviews_1000.csv. Хотите пропустить шаг обучения? Скачайте файл hotel_reviews_100.csv.

• Создание экземпляра службы "Когнитивный поиск Azure"
• Создание рабочей области Машинного обучения Azure (служба поиска и рабочая область должны находиться в одной подписке)
• Обучение и развертывание модели в кластере Azure Kubernetes
• Связывание конвейера обогащения с помощью ИИ с развернутой моделью
• Прием выходных данных из развернутой модели в качестве настраиваемого навыка

Важно!

Этот навык предоставляется в общедоступной предварительной версии, и к нему применяются дополнительные условия использования. Предварительная версия REST API поддерживает этот навык.

Предварительные требования

• Подписка Azure (получите бесплатную подписку)
• Служба "Когнитивный поиск Azure"
• Ресурсы Cognitive Services
• Учетная запись хранения Azure)
• Рабочая область службы "Машинное обучение Azure"

Настройка

• Клонируйте или скачайте содержимое примера репозитория.
• Извлеките содержимое, если оно скачано в виде ZIP-файла. Убедитесь, что файлы доступны для чтения и записи.
• При настройке учетных записей и служб Azure копируйте имена и ключи в легкодоступный текстовый файл. Имена и ключи будут добавлены в первую ячейку записной книжки, в которой определены переменные для доступа к службам Azure.
• Если вы не знакомы со службой "Машинное обучение Azure" и ее требованиями, перед началом работы вам, возможно, следует ознакомиться с перечисленными ниже документами.
• Настройка среды разработки для Машинного обучения Azure
• Создание рабочих областей Машинного обучения Azure и управление ими с помощью портала Azure
• Чтобы легко и быстро приступить к работе при настройке среды разработки для Машинного обучения Azure, рекомендуется использовать облачную вычислительную операцию.
• Отправьте файл набора данных в контейнер в учетной записи хранения. Если вы хотите настроить обучение в записной книжке, потребуется файл большего размера. Если вы предпочитаете пропустить этап обучения, рекомендуется использовать файл меньшего размера.

Открытие записной книжки и подключение к службам Azure

1. Укажите в первой ячейке все необходимые сведения о переменных, которые будут разрешать доступ к службам Azure, и выполните эту ячейку.
2. При выполнении второй ячейки будет подтверждено, что вы подключились к службе поиска для вашей подписки.
3. Разделы 1.1–1.5 используются для создания хранилища данных службы поиска, набора навыков, индекса и индексатора.

На этом этапе можно пропустить шаги по созданию набора данных для обучения и эксперимента в Машинном обучении Azure и сразу же перейти к регистрации двух моделей, предоставленных в папке моделей репозитория GitHub. Если вы пропускаете эти действия, перейдите в записной книжке к разделу 3.5, который используется для написания скрипта оценки. Это позволит сэкономить время. Для завершения скачивания и отправки данных может потребоваться до 30 минут.

Создание и обучение моделей

Раздел 2 содержит шесть ячеек, которые используются для скачивания файла внедрений Glove из репозитория рецептов NLP. После скачивания файл загружается в хранилище данных службы "Машинное обучение Azure". Размер ZIP-файла составляет примерно 2 ГБ, поэтому на выполнение этих задач потребуется некоторое время. После отправки данные для обучения извлекаются, и теперь все готово к переходу к разделу 3.

Обучение аспектной модели тональности и развертывание конечной точки

Раздел 3 записной книжки используется для обучения моделей, созданных с помощью раздела 2, регистрации этих моделей и развертывания их в качестве конечной точки в кластере Azure Kubernetes. Если вы не знакомы с Azure Kubernetes, прежде чем пытаться создать кластер вывода, настоятельно рекомендуем ознакомиться со следующими статьями.

• Обзор службы Azure Kubernetes
• Ключевые концепции Kubernetes для службы Azure Kubernetes (AKS)
• Квоты, ограничения размера виртуальной машины и доступность региона в службе Kubernetes Azure (AKS)

Создание и развертывание кластера вывода может занять до 30 минут. Для тестирования веб-службы перед переходом к последним шагам рекомендуется обновить набор навыков и запустить индексатор.

Обновление набора навыков

Раздел 4 в записной книжке содержит четыре ячейки, которые используются для обновления набора навыков и индексатора. Кроме того, можно выбрать новый навык и применить его к набору навыков с помощью портала, а затем запустить индексатор для обновления службы поиска.

На портале перейдите к набору навыков и выберите ссылку на определение набора навыков (JSON). На портале отобразится код JSON вашего набора навыков, который был создан с помощью первых ячеек записной книжки. В правой части экрана находится раскрывающееся меню, в котором можно выбрать шаблон определения навыка. Выберите шаблон "Машинное обучение Azure (AML)". Укажите имя рабочей области Машинного обучения Azure и конечную точку для модели, развернутой в кластере вывода. Шаблон будет обновлен с использованием URI и ключа этой конечной точки.

Скопируйте шаблон набора навыков из окна и вставьте его в определение набора навыков слева. Измените шаблон, задав отсутствующие значения для перечисленных ниже параметров.

• Имя
• Описание
• Контекст
• Имя и источник входных данных
• Имя и targetName выходных данных

Сохраните набор навыков.

После сохранения набора навыков перейдите к индексатору и выберите ссылку на его определение (JSON). На портале отобразится код JSON индексатора, который был создан с помощью первых ячеек записной книжки. При этом сопоставления полей выходных данных потребуется обновить с учетом дополнительных сопоставлений полей, чтобы индексатор мог правильно их обрабатывать и передавать. Сохраните изменения и нажмите "Выполнить".

Очистка ресурсов

Если вы работаете в своей подписке, по окончании проекта рекомендуем решить, нужны ли вам созданные ресурсы. Работающие ресурсы могут означать лишние затраты. Можно удалить отдельные ресурсы или удалить группу ресурсов, что позволит удалить весь набор ресурсов.

Просматривать ресурсы и управлять ими можно на портале с помощью ссылок Все ресурсы или Группы ресурсов на панели навигации слева.

При работе с бесплатной версией службы помните о том, что вам доступно максимум три индекса, индексатора и источника данных. Вы можете удалить отдельные элементы на портале, чтобы не превысить лимит.