Начало работы с Azure Data Lake Storage Gen1 с помощью Azure PowerShell

Статья
06/27/2018

Примечание.

Azure Data Lake Storage 1-го поколения теперь прекращена. Ознакомьтесь с объявлением о выходе на пенсию здесь.Data Lake Storage 1-го поколения ресурсы больше не доступны.

Узнайте, как использовать Azure PowerShell для создания учетной записи Azure Data Lake Storage 1-го поколения и выполнения основных операций, таких как создание папок, отправка и загрузка файлов данных, удаление вашей учетной записи и т. д. Дополнительные сведения о Data Lake Storage Gen1 см. в разделе Обзор озера данных Хранилище Gen1.

Предварительные требования

Примечание.

Мы рекомендуем использовать модуль Azure Az PowerShell для взаимодействия с Azure. Чтобы начать работу, см. статью Установка Azure PowerShell. Дополнительные сведения см. в статье Перенос Azure PowerShell с AzureRM на Az.

Подписка Azure. См. страницу бесплатной пробной версии Azure.
Azure PowerShell 1.0 или более поздней версии. Ознакомьтесь со статьей Установка и настройка Azure PowerShell.

Проверка подлинности

В этой статье используется более простой подход к проверке подлинности с Data Lake Storage 1-го поколения, где вам предлагается ввести учетные данные своей учетной записи Azure. Уровень доступа к учетной записи Data Lake Storage 1-го поколения и файловой системе зависит от уровня доступа пользователя, который вошел в систему. Однако существуют и другие подходы к проверке подлинности с помощью Data Lake Storage 1-го поколения, а именно проверка подлинности конечного пользователя или проверка подлинности между службами. Инструкции и дополнительные сведения об аутентификации см. в разделах Аутентификация пользователей и Аутентификация между службами.

Создание учетной записи Data Lake Storage 1-го поколения

На рабочем столе откройте новое окно Windows PowerShell. Введите следующий фрагмент кода, чтобы войти в свою учетную запись Azure, выбрать подписку и зарегистрировать поставщик Data Lake Storage 1-го поколения. Когда вам будет предложено войти, введите учетные данные администратора или владельца подписки.
```
# Log in to your Azure account
Connect-AzAccount

# List all the subscriptions associated to your account
Get-AzSubscription

# Select a subscription
Set-AzContext -SubscriptionId <subscription ID>

# Register for Azure Data Lake Storage Gen1
Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
```
Учетная запись Data Lake Storage 1-го поколения связывается с группой ресурсов Azure. Для начала создайте группу ресурсов.
```
$resourceGroupName = "<your new resource group name>"
New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
```
Создайте учетную запись Data Lake Storage 1-го поколения. Указанное имя должно содержать только строчные буквы и цифры.
```
$dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
```
Убедитесь, что учетная запись создана.
```
Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
```
Результат должен иметь значение True.

Создание структур каталогов

Чтобы хранить данные и управлять ими, вы можете создать каталоги в своей учетной записи Data Lake Storage 1-го поколения.

Укажите корневой каталог.
```
$myrootdir = "/"
```
Создайте новый каталог с именем mynewdirectory в указанном корневом каталоге.
```
New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
```
Убедитесь, что новый каталог создан.
```
Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
```
Отобразятся выходные данные, как показано на следующем снимке экрана:

Отправка данных

Данные можно передавать в Data Lake Storage 1-го поколения непосредственно на корневой уровень или в каталог, созданный в учетной записи. Фрагменты кода в этом разделе показывают, как отправить некоторые образцы данных в каталог (mynewdirectory), который был создан на предыдущем шаге.

Если у вас нет под рукой подходящих для этих целей данных, передайте папку Ambulance Data из репозитория Git для озера данных Azure. Скачайте файл и сохраните его в локальном каталоге на компьютере, например C:\sampledata.

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Переименовывать, скачивать и удалять данные

Чтобы переименовать файл, используйте следующую команду:

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Чтобы загрузить файл, используйте следующую команду:

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

Чтобы удалить файл, используйте следующую команду:

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

При появлении запроса введите Y , чтобы удалить элемент. Если нужно удалить несколько файлов, можно указать все пути через запятую.

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

Удалить учетную запись

Чтобы удалить учетную запись Data Lake Storage 1-го поколения, используйте следующую команду.

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

При появлении запроса введите Y , чтобы удалить учетную запись.

Поделиться через