Het bibliotheekbeheerproces automatiseren via Azure PowerShell-cmdlets en REST API's

Artikel
05/23/2023

U kunt uw bibliotheken voor uw serverloze Apache Spark-pools beheren zonder naar de pagina's van de Synapse Analytics-gebruikersinterface te gaan. U kunt bijvoorbeeld het volgende vinden:

U ontwikkelt een aangepast pakket en wilt dit uploaden naar uw werkruimte en het gebruiken in uw Spark-pool. En u wilt de stappen voor uw lokale hulpprogramma's voltooien zonder de gebruikersinterfaces voor pakketbeheer te bezoeken.
u uw pakketten bijwerkt via het CI/CD-proces

In dit artikel vindt u een algemene handleiding voor het beheren van bibliotheken via Azure PowerShell cmdlets of REST API's.

Pakketten beheren via Azure PowerShell-cmdlets

Nieuwe bibliotheken toevoegen

De opdracht New-AzSynapseWorkspacePackage kan worden gebruikt om nieuwe bibliotheken te uploaden naar de werkruimte.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

De combinatie van de opdrachten New-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool kan worden gebruikt om nieuwe bibliotheken te uploaden naar de werkruimte en de bibliotheek te koppelen aan een Spark-pool.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Als u een bestaande werkruimtebibliotheek wilt koppelen aan uw Spark-pool, raadpleegt u de opdrachtcombinatie Get-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Bibliotheken verwijderen

Als u een geïnstalleerd pakket uit uw Spark-pool wilt verwijderen, raadpleegt u de opdrachtcombinatie Get-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

U kunt ook een Spark-pool ophalen en alle gekoppelde werkruimtebibliotheken uit de pool verwijderen door de opdrachten Get-AzSynapseSparkPool en Update-AzSynapseSparkPool aan te roepen.

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Raadpleeg Azure PowerShell cmdlets voor Azure Synapse Analytics voor meer mogelijkheden voor Azure PowerShell cmdlets.

Pakketten beheren via REST API's

De werkruimtepakketten beheren

Met de mogelijkheid van REST API's kunt u pakketten toevoegen/verwijderen of alle geüploade bestanden van uw werkruimte weergeven. Bekijk de volledige ondersteunde API's. Raadpleeg Overzicht van API's voor werkruimtebibliotheek.

De Spark-poolpakketten beheren

U kunt de REST API van de Spark-pool gebruiken om uw aangepaste of open source bibliotheken te koppelen aan of te verwijderen uit uw Spark-pools.

Geef voor aangepaste bibliotheken de lijst met aangepaste bestanden op als de eigenschap customLibraries in de aanvraagbody.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

U kunt ook uw Spark-poolbibliotheken bijwerken door de eigenschap libraryRequirements op te geven in de aanvraagbody.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Volgende stappen

De standaardbibliotheken weergeven: Versieondersteuning voor Apache Spark
Pakketten op Spark-poolniveau beheren via Synapse Studio portal: Python-pakketbeheer in Notebook-sessie

Delen via