Автоматизация процесса управления библиотекой с помощью командлетов Azure PowerShell и REST API

Статья
03/10/2023

Вам может потребоваться управлять библиотеками для бессерверных пулов Apache Spark, не переходя на страницы пользовательского интерфейса Synapse Analytics. Например, может оказаться, что:

вы разрабатываете пользовательский пакет и хотите отправить его в рабочую область, чтобы использовать его в пуле Spark. Вы также хотите выполнить все действия с помощью локальных инструментов, не переходя в пользовательские интерфейсы управления пакетами.
вы обновляете пакеты с помощью процесса CI/CD.

В этой статье мы предоставим общие указания по управлению библиотеками с помощью командлетов Azure PowerShell и REST API.

Управление пакетами с помощью командлетов Azure PowerShell

Добавление новых библиотек

Для отправки новых библиотек в рабочую область можно использовать команду New-AzSynapseWorkspacePackage.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```
Для отправки новых библиотек в рабочую область и подключения библиотеки к пулу Spark можно использовать сочетание команд New-AzSynapseWorkspacePackage и Update-AzSynapseSparkPool.
```
$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package
```
Если вы хотите подключить существующую библиотеку рабочей области к пулу Spark, используйте сочетание команд Get-AzSynapseWorkspacePackage и Update-AzSynapseSparkPool.
```
$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages
```

Удаление библиотек

Чтобы удалить установленный пакет из пула Spark, используйте сочетание команд Get-AzSynapseWorkspacePackage и Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Вы также можете получить пул Spark и удалить все подключенные библиотеки рабочих областей из пула, выполнив команды Get-AzSynapseSparkPool и Update-AzSynapseSparkPool.
```
$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages
```

Дополнительные возможности командлетов Azure PowerShell описаны в разделе Командлеты Azure PowerShell для Azure Synapse Analytics.

Управление пакетами с помощью REST API

Управление пакетами рабочей области

С помощью REST API можно добавлять и удалять пакеты, а также получить список всех отправленных файлов рабочей области. Полный список поддерживаемых API см. в разделе Общие сведения об API библиотеки рабочей области.

Управление пакетами пула Spark

REST API пула Spark можно использовать для подключения пользовательских библиотек и библиотек с открытым кодом к пулам Spark, а также для удаления этих библиотек из пулов.

Для пользовательских библиотек укажите список пользовательских файлов в качестве значения свойства customLibraries в тексте запроса.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

Вы также можете обновить библиотеки пула Spark, указав свойство libraryRequirements в тексте запроса.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Дальнейшие действия

Просмотр библиотек по умолчанию: поддержка версий Apache Spark
Управление пакетами уровня пула Spark с помощью портала Synapse Studio: Управление пакетами Python в сеансе записной книжки

Поделиться через