Поделиться через

Создание хранилищ данных

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

Из этой статьи вы узнаете, как подключиться к службам хранилища данных Azure с Машинное обучение Azure хранилищами данных.

Необходимые компоненты

Примечание.

Машинное обучение хранилища данных не создают базовые ресурсы учетной записи хранения. Вместо этого они связывают существующую учетную запись хранения для Машинное обучение использования. Машинное обучение хранилища данных не требуются. Если у вас есть доступ к базовым данным, можно использовать URI хранилища напрямую.

Создание хранилища данных BLOB-объектов Azure

from azure.ai.ml.entities import AzureBlobDatastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureBlobDatastore(
    name="",
    description="",
    account_name="",
    container_name=""
)

ml_client.create_or_update(store)

Создание хранилища данных Azure Data Lake Storage 2-го поколения

from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen2Datastore(
    name="",
    description="",
    account_name="",
    filesystem=""
)

ml_client.create_or_update(store)

Создание хранилища данных Файлов Azure

from azure.ai.ml.entities import AzureFileDatastore
from azure.ai.ml.entities import AccountKeyConfiguration
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureFileDatastore(
    name="file_example",
    description="Datastore pointing to an Azure File Share.",
    account_name="mytestfilestore",
    file_share_name="my-share",
    credentials=AccountKeyConfiguration(
        account_key= "aaaaaaaa-0b0b-1c1c-2d2d-333333333333"
    ),
)

ml_client.create_or_update(store)

Создание хранилища данных azure Data Lake Storage 1-го поколения

from azure.ai.ml.entities import AzureDataLakeGen1Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen1Datastore(
    name="",
    store_name="",
    description="",
)

ml_client.create_or_update(store)

Создание хранилища данных OneLake (Microsoft Fabric) (предварительная версия)

В этом разделе описаны различные параметры создания хранилища данных OneLake. Хранилище данных OneLake является частью Microsoft Fabric. В настоящее время Машинное обучение поддерживает подключение к артефактам Microsoft Fabric lakehouse в папке "Файлы", включающей папки или файлы и сочетания клавиш Amazon S3. Дополнительные сведения о озерах см. в статье "Что такое озеро в Microsoft Fabric?".

Для создания хранилища данных OneLake требуются следующие сведения из экземпляра Microsoft Fabric:

  • Конечная точка
  • GUID рабочей области
  • GUID артефакта

На следующих снимках экрана описано получение этих необходимых информационных ресурсов из экземпляра Microsoft Fabric.

Снимок экрана, на котором показано, как щелкнуть свойства артефакта рабочей области Microsoft Fabric в пользовательском интерфейсе Microsoft Fabric.

Затем вы найдете "Endpoint", "Workspace GUID" и "Artifact GUID" в "URL-адрес" и "путь ABFS" на странице "Свойства":

  • Формат URL-адреса: https://{your_one_lake_endpoint}/{your_one_lake_workspace_guid}/{your_one_lake_artifact_guid}/Files
  • Формат пути ABFS: abfss://{your_one_lake_workspace_guid}@{your_one_lake_endpoint}/{your_one_lake_artifact_guid}/Files

Снимок экрана: URL-адрес и путь ABFS артефакта OneLake в пользовательском интерфейсе Microsoft Fabric.

Создание хранилища данных OneLake

from azure.ai.ml.entities import OneLakeDatastore, OneLakeArtifact
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = OneLakeDatastore(
    name="onelake_example_id",
    description="Datastore pointing to an Microsoft fabric artifact.",
    one_lake_workspace_name="bbbbbbbb-7777-8888-9999-cccccccccccc", #{your_one_lake_workspace_guid}
    endpoint="msit-onelake.dfs.fabric.microsoft.com" #{your_one_lake_endpoint}
    artifact = OneLakeArtifact(
        name="cccccccc-8888-9999-0000-dddddddddddd/Files", #{your_one_lake_artifact_guid}/Files
        type="lake_house"
    )
)

ml_client.create_or_update(store)

Следующие шаги