az ml data
Заметка
Эта ссылка является частью расширения машинного обучения
Управление ресурсами данных Машинного обучения Azure.
Ресурсы данных машинного обучения Azure ссылаются на файлы в службах хранилища или общедоступных URL-адресах вместе с любыми соответствующими метаданными. Они не копируют данные. Эти ресурсы данных можно использовать для доступа к соответствующим данным во время обучения модели и подключения или скачивания ссылочных данных в целевой объект вычислений.
Команды
Имя | Описание | Тип | Состояние |
---|---|---|---|
az ml data archive |
Архивируйте ресурс данных. |
Расширение | ГА |
az ml data create |
Создайте ресурс данных в рабочей области или реестре. Если вы используете реестр, замените |
Расширение | ГА |
az ml data import |
Импортируйте данные и создайте ресурс данных. |
Расширение | Предварительный просмотр |
az ml data list |
Вывод списка ресурсов данных в рабочей области или реестре. Если вы используете реестр, замените |
Расширение | ГА |
az ml data list-materialization-status |
Отображение состояния заданий импорта данных, создающих версии ресурса данных. |
Расширение | Предварительный просмотр |
az ml data mount |
Подключите определенный ресурс данных к локальному пути. Сейчас поддерживается только Linux. |
Расширение | Предварительный просмотр |
az ml data restore |
Восстановление архивированного ресурса данных. |
Расширение | ГА |
az ml data share |
Предоставление общего доступа к определенному ресурсу данных из рабочей области в реестр. |
Расширение | Предварительный просмотр |
az ml data show |
Отображает сведения о ресурсе данных в рабочей области или реестре. Если вы используете реестр, замените |
Расширение | ГА |
az ml data update |
Обновление ресурса данных. |
Расширение | ГА |
az ml data archive
Архивируйте ресурс данных.
Архивация ресурса данных по умолчанию скрывается из запросов списка (az ml data list
). Вы по-прежнему можете ссылаться и использовать архивированный ресурс данных в рабочих процессах. Можно архивировать контейнер ресурсов данных или определенную версию ресурса данных. Архивация контейнера ресурсов данных архивирует все версии ресурса данных в соответствии с указанным именем. Архивный ресурс данных можно восстановить с помощью az ml data restore
. Если весь контейнер ресурсов данных архивирован, вы не сможете восстановить отдельные версии ресурса данных. Необходимо восстановить контейнер ресурсов данных.
az ml data archive --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
Примеры
Архивируйте контейнер ресурсов данных (архивирует все версии этого ресурса данных)
az ml data archive --name my-env --resource-group my-resource-group --workspace-name my-workspace
Архивация определенной версии ресурса данных
az ml data archive --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
Обязательные параметры
Имя ресурса данных.
Необязательные параметры
Метка ресурса данных. Взаимоисключаемая версия.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Версия ресурса данных. Взаимоисключаемая с меткой.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data create
Создайте ресурс данных в рабочей области или реестре. Если вы используете реестр, замените --workspace-name my-workspace
параметром --registry-name <registry-name>
.
Ресурсы данных можно определить из файлов на локальном компьютере или как ссылки на файлы в облачном хранилище. Созданный ресурс данных будет отслеживаться в рабочей области или реестре под указанным именем и версией.
Чтобы создать ресурс данных из файлов на локальном компьютере, укажите поле path в конфигурации YAML. Машинное обучение Azure отправит эти файлы в контейнер BLOB-объектов, который поддерживает хранилище данных по умолчанию рабочей области (с именем workspaceblobstore). Затем созданный ресурс данных будет указывать на отправленные данные.
Чтобы создать ресурс данных, ссылающийся на файлы в облачном хранилище, укажите путь к файлам в хранилище в конфигурации YAML.
Вы также можете создать ресурс данных непосредственно из URL-адреса хранилища или общедоступного URL-адреса. Для этого укажите URL-адрес поля path в конфигурации YAML. Если вы используете реестр, замените --workspace-name my-workspace
параметром --registry-name <my-registry-name>
.
az ml data create [--datastore]
[--description]
[--file]
[--name]
[--no-wait]
[--path]
[--registry-name]
[--resource-group]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
[--workspace-name]
Примеры
Создание ресурса данных из файла спецификации YAML в рабочей области
az ml data create --file data.yml --resource-group my-resource-group --workspace-name my-workspace
Создание ресурса данных из файла спецификации YAML в реестре
az ml data create --file data.yml --registry-name my-registry-name
Создание ресурса данных без использования файла спецификации YAML в рабочей области
az ml data create --name my-data --version 1 --path ./my-data.csv --resource-group my-resource-group --workspace-name my-workspace
Создание ресурса данных без использования файла спецификации YAML в реестре
az ml data create --name my-data --version 1 --path ./my-data.csv --registry-name my-registry-name
Необязательные параметры
Хранилище данных для отправки локального артефакта в.
Описание ресурса данных.
Локальный путь к YAML-файлу, содержаму спецификацию данных Машинного обучения Azure. Справочные документы YAML для данных можно найти по адресу: https://aka.ms/ml-cli-v2-data-yaml-reference.
Имя ресурса данных. Требуется, если задано имя --registry-name.
Не дождитесь завершения длительной операции. Значение по умолчанию — False.
Путь к ресурсу данных может быть локальным или удаленным.
Если это указано, команда будет нацелена на реестр вместо рабочей области. Поэтому не требуется группа ресурсов и рабочая область. Необходимо указать, если не указана группа --workspace-name и --resource-group.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=value.
Пропустить проверку метаданных MLTable при типе MLTable.
Тип ресурса данных.
Версия ресурса данных. Требуется, если задано имя --registry-name.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data import
Эта команда находится в предварительной версии и находится в процессе разработки. Уровни справки и поддержки: https://aka.ms/CLI_refstatus
Импортируйте данные и создайте ресурс данных.
Ресурс данных можно создать, импортируя данные из базы данных или файловой системы в облачное хранилище. Созданный ресурс данных будет отслеживаться в рабочей области под указанным именем и версией.
Укажите "запрос" таблицы базы данных или пути к полям файловой системы в конфигурации YAML. Машинное обучение Azure выполнит задание, чтобы сначала скопировать данные в облачное хранилище.
az ml data import --resource-group
--workspace-name
[--datastore]
[--description]
[--file]
[--name]
[--path]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
Примеры
Импорт ресурса данных из файла спецификации YAML
az ml data import --file dataimport.yml --resource-group my-resource-group --workspace-name my-workspace
Обязательные параметры
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Необязательные параметры
Хранилище данных для отправки локального артефакта в.
Описание ресурса данных.
Локальный путь к YAML-файлу, содержаму спецификацию данных Машинного обучения Azure. Справочные документы YAML для данных можно найти по адресу: https://aka.ms/ml-cli-v2-data-yaml-reference.
Имя ресурса данных.
Путь к ресурсу данных в облачном хранилище.
Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=value.
Пропустить проверку вычислительного ресурса, на который ссылается базовое задание импорта материаловизации данных.
Тип ресурса данных.
Версия ресурса данных.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data list
Вывод списка ресурсов данных в рабочей области или реестре. Если вы используете реестр, замените --workspace-name my-workspace
параметром --registry-name <registry-name>
.
az ml data list [--archived-only]
[--include-archived]
[--max-results]
[--name]
[--registry-name]
[--resource-group]
[--workspace-name]
Примеры
Вывод списка всех ресурсов данных в рабочей области
az ml data list --resource-group my-resource-group --workspace-name my-workspace
Список всех версий ресурса данных для указанного имени в рабочей области
az ml data list --name my-data --resource-group my-resource-group --workspace-name my-workspace
Вывод списка всех ресурсов данных в рабочей области с помощью аргумента --query для выполнения запроса JMESPath в результатах команд.
az ml data list --query "[].{Name:name}" --output table --resource-group my-resource-group --workspace-name my-workspace
Перечисление всех ресурсов данных в реестре
az ml data list --registry-name my-registry-name
Список всех версий ресурса данных для указанного имени в реестре
az ml data list --name my-data --registry-name my-registry-name
Необязательные параметры
Список архивированных ресурсов данных только.
Вывод списка архивированных ресурсов данных и активных ресурсов данных.
Максимальное количество возвращаемых результатов.
Имя ресурса данных. При условии будут возвращены все версии данных под этим именем.
Если это указано, команда будет нацелена на реестр вместо рабочей области. Поэтому не требуется группа ресурсов и рабочая область. Необходимо указать, если не указана группа --workspace-name и --resource-group.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data list-materialization-status
Эта команда находится в предварительной версии и находится в процессе разработки. Уровни справки и поддержки: https://aka.ms/CLI_refstatus
Отображение состояния заданий импорта данных, создающих версии ресурса данных.
az ml data list-materialization-status --resource-group
--workspace-name
[--all-results {false, true}]
[--archived-only]
[--include-archived]
[--max-results]
[--name]
Примеры
Отображение состояния материализации ресурса данных из файла спецификации YAML
az ml data list-materialization-status --name asset-name --resource-group my-resource-group --workspace-name my-workspace
Обязательные параметры
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Необязательные параметры
Возвращает все результаты.
Вывод списка только архивных заданий.
Вывод списка архивированных заданий и активных заданий.
Максимальное количество возвращаемых результатов. Значение по умолчанию — 50.
Имя ресурса. Отобразит список всех заданий материализации, создающих версии ресурса, соответствующего заданному имени.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data mount
Эта команда находится в предварительной версии и находится в процессе разработки. Уровни справки и поддержки: https://aka.ms/CLI_refstatus
Подключите определенный ресурс данных к локальному пути. Сейчас поддерживается только Linux.
az ml data mount --path
[--mode]
[--mount-point]
[--persistent]
[--resource-group]
[--workspace-name]
Примеры
Подключение версии ресурса данных с помощью URI именованного ресурса
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder:1
Подключение версии ресурса данных с помощью полного URI AzureML
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data/versions/5
Подключение всех версий ресурса данных с помощью URI именованных активов
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder
Подключение всех версий ресурса данных с помощью полного URI AzureML
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data
Подключение данных на общедоступном сервере HTTP по URL-адресу
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://raw.githubusercontent.com/pandas-dev/pandas/main/doc/data/titanic.csv
Подключение данных в Azure по URL-адресу хранилища BLOB-объектов Azure
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://<account_name>.blob.core.windows.net/<container_name>/<path>
Подключение данных в Azure по URL-адресу Azure Data Lake Storage 2-го поколения
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>
Обязательные параметры
Путь к ресурсу данных для подключения в виде azureml:<name>
или azureml:<name>:<version>
.
Необязательные параметры
Режим подключения. Для подключения ресурсов данных поддерживается только ro_mount
(только для чтения).
Локальный путь, используемый в качестве точки подключения.
Сохраните подключение во время перезагрузки. Поддерживается только в вычислительном экземпляре.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data restore
Восстановление архивированного ресурса данных.
Когда архивный ресурс данных восстановлен, он больше не будет скрыт из запросов списка (az ml data list
). Если архивируется весь контейнер ресурсов данных, можно восстановить архивированный контейнер. При этом будут восстановлены все версии ресурса данных с указанным именем. Вы не можете восстановить только определенную версию ресурса данных, если весь контейнер ресурсов данных архивирован, потребуется восстановить весь контейнер. Если архивирована только отдельная версия ресурса данных, можно восстановить эту конкретную версию.
az ml data restore --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
Примеры
Восстановление архивированного контейнера ресурсов данных (восстанавливает все версии этого ресурса данных)
az ml data restore --name my-env --resource-group my-resource-group --workspace-name my-workspace
Восстановление определенной архивной версии ресурса данных
az ml data restore --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
Обязательные параметры
Имя ресурса данных.
Необязательные параметры
Метка ресурса данных. Взаимоисключаемая версия.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Версия ресурса данных. Взаимоисключаемая с меткой.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data share
Эта команда находится в предварительной версии и находится в процессе разработки. Уровни справки и поддержки: https://aka.ms/CLI_refstatus
Предоставление общего доступа к определенному ресурсу данных из рабочей области в реестр.
Скопируйте существующий ресурс данных из рабочей области в реестр для повторного использования нескольких рабочих областей.
az ml data share --name
--registry-name
--resource-group
--share-with-name
--share-with-version
--version
--workspace-name
Примеры
Предоставление общего доступа к существующему ресурсу данных из рабочей области в реестр
az ml data share --name my-data --version my-version --resource-group my-resource-group --workspace-name my-workspace --share-with-name new-name-in-registry --share-with-version new-version-in-registry --registry-name my-registry
Обязательные параметры
Имя ресурса данных.
Целевой реестр.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя создаваемого ресурса данных.
Версия создаваемого ресурса данных.
Версия ресурса данных.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data show
Отображает сведения о ресурсе данных в рабочей области или реестре. Если вы используете реестр, замените --workspace-name my-workspace
параметром --registry-name <registry-name>
.
az ml data show --name
[--label]
[--registry-name]
[--resource-group]
[--version]
[--workspace-name]
Примеры
Отображение сведений о ресурсе данных с указанным именем и версией в рабочей области
az ml data show --name my-data --version 1 --resource-group my-resource-group --workspace-name my-workspace
Отображение сведений о ресурсе данных с указанным именем и меткой
az ml data show --name my-data --label latest --resource-group my-resource-group --workspace-name my-workspace
Отображение сведений о ресурсе данных с указанным именем и версией в реестре
az ml data show --name my-data --version 1 --registry-name my-registry-name
Обязательные параметры
Имя ресурса данных.
Необязательные параметры
Метка ресурса данных. Необходимо указать, если версия не указана. Взаимоисключаемая версия.
Если это указано, команда будет нацелена на реестр вместо рабочей области. Поэтому не требуется группа ресурсов и рабочая область. Необходимо указать, если не указана группа --workspace-name и --resource-group.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Версия ресурса данных. Необходимо указать, если метка не указана. Взаимоисключаемая с меткой.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.
az ml data update
Обновление ресурса данных.
Можно обновить только свойства description и tags.
az ml data update --name
--resource-group
--workspace-name
[--add]
[--force-string]
[--label]
[--registry-name]
[--remove]
[--set]
[--version]
Обязательные параметры
Имя ресурса данных.
Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>
.
Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>
.
Необязательные параметры
Добавьте объект в список объектов, указав пары пути и значения ключа. Пример: --add property.listProperty <key=value, string or JSON string>
.
При использовании "set" или "add" сохраняйте строковые литералы вместо попытки преобразовать в JSON.
Метка ресурса данных. Необходимо указать, если версия не указана. Взаимоисключаемая версия.
Если это указано, команда будет нацелена на реестр вместо рабочей области. Поэтому не требуется группа ресурсов и рабочая область. Необходимо указать, если не указана группа --workspace-name и --resource-group.
Удалите свойство или элемент из списка. Пример: --remove property.list <indexToRemove>
ИЛИ --remove propertyToRemove
.
Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=<value>
.
Версия ресурса данных. Необходимо указать, если метка не указана. Взаимоисключаемая с меткой.
Глобальные параметры
Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.
Отображение этого сообщения справки и выхода.
Отображаются только ошибки, подавляющие предупреждения.
Формат вывода.
Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.
Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID
.
Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.