Automatizar o processo de gerenciamento de biblioteca por meio de cmdlets do Azure PowerShell e APIs REST

Artigo
03/10/2023

Talvez você queira gerenciar as bibliotecas dos pools do Apache Spark sem servidor, sem entrar nas páginas da interface do usuário do Synapse Analytics. Por exemplo, você pode descobrir que:

criou um pacote personalizado e deseja carregá-lo no workspace e usá-lo no pool do Spark. E você deseja concluir as etapas nas ferramentas locais, sem acessar as interfaces do usuário do gerenciamento de pacotes.
você está atualizando os pacotes por meio do processo de CI/CD

Neste artigo, forneceremos um guia geral para ajudar a gerenciar bibliotecas por meio dos cmdlets do Azure PowerShell ou das APIs REST.

Gerenciar pacotes por meio dos cmdlets do Azure PowerShell

Adicionar novas bibliotecas

O comando New-AzSynapseWorkspacePackage pode ser usado para carregar novas bibliotecas no workspace.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

A combinação dos comandos New-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool pode ser usada para carregar novas bibliotecas no workspace e anexar a biblioteca a um pool do Spark.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Se você quiser anexar uma biblioteca de workspaces existente ao pool do Spark, veja a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Remover bibliotecas

Para remover um pacote instalado do pool do Spark, veja a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Você também pode recuperar um pool do Spark e remover todas as bibliotecas de workspaces anexadas do pool ao chamar os comandos Get-AzSynapseSparkPool e Update-AzSynapseSparkPool.

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Para obter mais funcionalidades dos cmdlets do Azure PowerShell, veja cmdlets do Azure PowerShell para Azure Synapse Analytics.

Gerenciar pacotes por meio das APIs REST

Gerenciar pacotes do workspace

Com a capacidade das APIs REST, você pode adicionar/excluir pacotes ou listar todos os arquivos carregados do workspace. Confira as APIs com suporte completo. Consulte a Visão geral das APIs da biblioteca de workspaces.

Gerenciar os pacotes do pool do Spark

Você pode aproveitar a API REST do pool do Spark para anexar ou remover as bibliotecas personalizadas ou de código aberto nos pools do Spark.

Para bibliotecas personalizadas, especifique a lista de arquivos personalizados como a propriedade customLibraries no corpo da solicitação.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

Você também pode atualizar as bibliotecas do pool do Spark ao especificar a propriedade libraryRequirements no corpo da solicitação.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Próximas etapas

Exibir as bibliotecas padrão: suporte à versão do Apache Spark
Gerenciar pacotes no nível do pool do Spark por meio do portal do Synapse Studio: gerenciamento de pacote Python na Sessão do Notebook

Compartilhar via