Управление проектами маркировки
Узнайте, как управлять проектом маркировки в Машинное обучение Azure. Эта статья предназначена для руководителей проектов, которые отвечают за управление проектами по маркировке текста или изображений. Сведения о том, как создать проект, см. в разделе "Настройка проекта маркировки текста" или "Настройка проекта маркировки изображений".
Внимание
Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Предварительная версия предоставляется без соглашения об уровне обслуживания и не рекомендована для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Запуск и мониторинг проекта.
После инициализации проекта Azure начнет его запускать. Чтобы управлять проектом, выберите проект на главной странице метки данных.
Чтобы приостановить или перезапустить проект, на панели команд проекта переключите состояние "Выполнение ". Данные можно пометить только в том случае, если проект запущен.
Мониторинг прогресса
На вкладке Панель мониторинга отображается ход выполнения задачи добавления меток.
Диаграммы хода выполнения показывают, сколько элементов помечено, пропущено, требуется проверка или еще не завершено. Наведите указатель мыши на диаграмму, чтобы увидеть количество элементов в каждом разделе.
Распределение меток для завершенных задач отображается под диаграммой. В некоторых типах проектов элемент может иметь несколько меток. Общее количество меток может превышать общее количество элементов.
Также отображается распределение меток и количество элементов, помеченных ими.
В среднем разделе показана таблица с очередью неназначенных задач. Если метка с поддержкой машинного обучения отключена, в этом разделе показано количество задач вручную, ожидающих назначения.
При включении меток с поддержкой машинного обучения в этом разделе также показано:
- Задачи, содержащие кластеризованные элементы в очереди.
- Задачи, содержащие предварительно помеченные элементы в очереди.
Кроме того, если включена метка с поддержкой машинного обучения, можно прокрутить вниз, чтобы просмотреть состояние метки с поддержкой ML. В разделах "Задания" приводятся ссылки для каждого запуска машинного обучения.
- Учебный курс. Обучение модели для прогнозирования меток.
- Проверка. Определяет, используется ли предварительная метка элемента для прогнозирования этой модели.
- Вывод: запуск прогнозирования для новых элементов.
- Признаки: элементы кластеров (только для проектов классификации изображений).
Просмотр данных и меток
На вкладке "Данные" просмотрите набор данных и просмотрите помеченные данные.
Совет
Перед проверкой скоординируйте свои действия с другими рецензентами. В противном случае вы можете одновременно попытаться утвердить одну и ту же метку, и один из вас не сможет обновить ее.
Прокрутите помеченные данные для просмотра их меток. Если вы видите данные, которые неправильно помечены, выберите его и выберите "Отклонить ", чтобы удалить метки и вернуть данные в очередь без меток.
Пропущенные элементы
Набор фильтров применяется к элементам, которые вы просматриваете. По умолчанию вы просматриваете помеченные данные. Выберите фильтр типа ресурса, чтобы переключить тип на *Пропущенный, чтобы просмотреть элементы, пропущенные.
Если вы считаете, что пропущенные данные должны быть помечены, выберите "Отклонить ", чтобы вернуться в очередь без меток. Если вы считаете, что пропущенные данные не относятся к проекту, выберите "Принять ", чтобы удалить его из проекта.
Метка консенсуса
Если в проекте используется метка консенсуса, просмотрите изображения, не имеющие консенсуса:
Выберите вкладку Данные.
В меню слева выберите "Рецензирование меток".
На панели команд над метками проверки выберите "Все фильтры".
В разделе "Метки данных" выберите метки консенсуса, необходимые для просмотра , чтобы показать только изображения, для которых метки не пришли к консенсусу.
Для просмотра каждого изображения выберите раскрывающийся список меток консенсуса, чтобы просмотреть конфликтующие метки.
Хотя вы можете выбрать отдельный меток, чтобы просмотреть их метки, обновить или отклонить метки, необходимо использовать лучший выбор, метка консенсуса (предварительная версия).
Изменение сведений о проекте
Просмотр и изменение сведений о проекте на вкладке "Сведения ". На этой вкладке можно:
- Просмотр сведений о проекте и входных наборов данных.
- Установите или снимите параметр "Включить добавочное обновление" через регулярные интервалы или запросить немедленное обновление.
- Просмотрите сведения о контейнере хранилища, который используется для хранения помеченных выходных данных в проекте.
- Добавьте метки в проект.
- Измените инструкции, которые вы предоставляете меткам.
- Изменение параметров для меток с помощью машинного обучения и начало задачи маркировки.
Проекты, созданные в службах ИИ Azure
Если проект маркировки был создан из Visual Studio или Language Studio, на странице сведений появится дополнительная вкладка. Вкладка позволяет переключаться между метками в Машинное обучение Azure и метками в Visual Studio или Language Studio.
Если проект был создан из Visual Studio, вы также увидите вкладку Vision Studio. Выберите "Перейти в Vision Studio", чтобы вернуться в Vision Studio. Когда вы вернетесь в Vision Studio, вы сможете импортировать помеченные данные.
Добавление новых меток в проект
Во время процесса маркировки данных может потребоваться добавить дополнительные метки для классификации элементов. Например, может потребоваться добавить метку Unknown или Other , чтобы указать путаницу.
Чтобы добавить одну или несколько меток в проект, выполните приведенные далее действия.
На главной странице маркировки данных выберите проект.
На панели команд проекта переключите состояние "Запуск" на "Приостановлено", чтобы остановить действие маркировки.
Выберите вкладку Сведения.
В списке слева выберите категории меток.
Измените метки.
Добавьте новую метку в форму. Затем выберите способ продолжения проекта. Так как вы изменили доступные метки, выберите способ обработки данных, которые уже помечены:
- Начните и удалите все существующие метки. Выберите этот параметр, если вы хотите начать маркировку с самого начала с помощью нового полного набора меток.
- Начните и сохраните все существующие метки. Выберите этот параметр, чтобы пометить все данные как не помеченные, но оставьте существующие метки в качестве тега по умолчанию для изображений, которые были помечены ранее.
- Продолжить и сохранить все существующие метки. Выберите этот параметр, чтобы сохранить все данные, уже помеченные как это, и начать использовать новую метку для данных, которые еще не помечены.
Измените страницу инструкций по мере необходимости для новых меток.
После добавления всех новых меток переключите переключатель "Приостановлено " на "Запуск ", чтобы перезапустить проект.
Запуск задачи по маркировке с помощью машинного обучения
Метка с поддержкой машинного обучения запускается автоматически после того, как некоторые элементы были помечены. Это автоматическое пороговое значение зависит от проекта. Вы можете вручную запустить обучающий запуск с помощью машинного обучения, если проект содержит по крайней мере некоторые помеченные данные.
Примечание.
Обучение по запросу недоступно для проектов, созданных до декабря 2022 года. Чтобы использовать эту функцию, создайте проект.
Чтобы начать новый учебный запуск с помощью машинного обучения, выполните следующую команду:
- В верхней части проекта выберите "Сведения".
- В меню слева выберите вспомогательные метки машинного обучения.
- В нижней части страницы для обучения по запросу нажмите кнопку "Пуск".
Экспортировать метки
Чтобы экспортировать метки, на панели команд проекта нажмите кнопку "Экспорт ". Вы можете в любое время экспортировать данные меток для эксперимента с машинным обучением.
Если тип проекта — семантическая сегментация (предварительная версия), создается ресурс данных Azure MLTable.
Для всех других типов проектов можно экспортировать метку изображения следующим образом:
- CSV-файл. Машинное обучение Azure создает CSV-файл в папке внутри Метка/ экспорт/csv.
- Файл формата COCO. Машинное обучение Azure создает COCO-файл в папке внутри Маркировка, экспорт/coco.
- Набор данных службы "Машинное обучение Azure" с метками.
- CSV-файл. Машинное обучение Azure создает CSV-файл в папке внутри Метка/ экспорт/csv.
- Файл формата COCO. Машинное обучение Azure создает COCO-файл в папке внутри Маркировка, экспорт/coco.
- Ресурс данных Машинного обучения Azure.
При экспорте CSV-файла или COCO уведомление появляется кратко, когда файл готов к загрузке. Выберите ссылку "Скачать файл", чтобы скачать результаты. Вы также можете найти уведомление в разделе "Уведомления" на верхней панели:
Доступ к экспортируемым Машинное обучение Azure наборам данных и ресурсам данных в разделе "Данные" Машинное обучение. На странице сведений о данных также представлен пример кода, который можно использовать для доступа к меткам с помощью Python.
После экспорта помеченных данных в набор данных Машинное обучение Azure можно использовать AutoML для создания моделей компьютерного зрения, которые обучены на помеченных данных. Дополнительные сведения о настройке AutoML для обучения моделей компьютерного зрения с помощью Python.
Импорт меток (предварительная версия)
Если у вас есть ресурс данных Azure MLTable или COCO-файл, содержащий метки для текущих данных, можно импортировать эти метки в проект. Например, у вас могут быть метки, экспортированные из предыдущего проекта маркировки с использованием одних и того же данных. Функция импорта меток доступна только для проектов изображений.
Чтобы импортировать метки, на панели команд проекта нажмите кнопку "Импорт ". В любое время можно импортировать помеченные данные для Машинное обучение экспериментирования.
Импортируйте из COCO-файла или ресурса данных Azure MLTable.
Сопоставление данных
Необходимо указать столбец, который сопоставляется с полем "Изображение ". Кроме того, можно сопоставить другие столбцы, которые присутствуют в данных. Например, если данные содержат столбец Label , его можно сопоставить с полем "Категория ". Если данные содержат столбец достоверности, его можно сопоставить с полем достоверности.
Если вы импортируете метки из предыдущего проекта, метки должны быть в том же формате, что и при создании меток. Например, если вы создаете ограничивающие метки, импортируемые метки также должны быть ограничивающими метками.
Параметры импорта
Выберите способ обработки импортированных меток:
- В качестве предварительно помеченных данных выберите этот параметр, чтобы использовать импортированные метки в качестве предварительно помеченных данных. Затем ваш метчик может просмотреть предварительно заданные данные и исправить все ошибки перед отправкой меток.
- В качестве окончательных меток выберите этот параметр, чтобы импортировать метки в качестве конечных меток. Только данные, которые еще не содержат метку, представлены в виде задач для ваших меток.
Доступ до маркировщиков
Любой пользователь, имеющий доступ к вашей рабочей области в качестве Участника или Владельца, может пометить данные в проекте.
Кроме того, вы можете добавлять пользователей и настраивать разрешения, чтобы у них был доступ к маркировке, но не к другим частям рабочей области или к проекту маркировки. Дополнительные сведения см. в разделе "Добавление пользователей в проект маркировки данных".
Устранение неполадок
Используйте следующие советы, если при управлении проектом возникают какие-либо из следующих проблем:
| Проблема | Решение |
|---|---|
| Можно использовать только наборы данных, созданные в хранилищах BLOB-объектов. | Эта проблема является известным ограничением текущего выпуска. |
| Удаление данных из набора данных, который использует проект, приводит к ошибке в проекте. | Не удаляйте данные из версии набора данных, используемой в проекте маркировки. Создайте новую версию набора данных для удаления данных. |
| После создания проекта состояние проекта инициализируется в течение длительного времени. | Обновите страницу вручную. Инициализация должна выполняться со скоростью примерно 20 точек данных в секунду. Отсутствие автоматического обновления является известной проблемой. |
| Новые помеченные элементы не видны на странице просмотра данных. | Чтобы загрузить все помеченные элементы, нажмите кнопку "Первая ". Первая кнопка возвращает вас к передней части списка и загружает все помеченные данные. |
| Нельзя назначить набор задач определенному маркировщику. | Эта проблема является известным ограничением текущего выпуска. |
Устранение неполадок обнаружения объектов
| Проблема | Решение |
|---|---|
| Если при обнаружении объектов выбран ключ ESC, создается метка нулевого размера, а отправка меток завершается ошибкой. | Чтобы удалить метку, щелкните значок удаления X рядом с меткой. |
Если у вас возникли проблемы с созданием проекта, см. статью "Устранение неполадок во время создания проекта маркировки данных"