Automatisera bibliotekshanteringsprocessen via Azure PowerShell-cmdletar och REST-API:er

Artikel
03/10/2023

Du kanske vill hantera dina bibliotek för dina serverlösa Apache Spark-pooler utan att gå till synapse Analytics-användargränssnittssidorna. Du kan till exempel se följande:

du utvecklar ett anpassat paket och vill ladda upp det till din arbetsyta och använda det i Spark-poolen. Och du vill slutföra stegen i dina lokala verktyg utan att besöka UIs för pakethantering.
du uppdaterar dina paket via CI/CD-processen

I den här artikeln innehåller vi en allmän guide som hjälper dig att hantera bibliotek via Azure PowerShell cmdletar eller REST-API:er.

Hantera paket via Azure PowerShell cmdletar

Lägga till nya bibliotek

Kommandot New-AzSynapseWorkspacePackage kan användas för att ladda upp nya bibliotek till arbetsytan.
```
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
```

Kombinationen av kommandona New-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool kan användas för att ladda upp nya bibliotek till arbetsytan och koppla biblioteket till en Spark-pool.

$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

Om du vill koppla ett befintligt arbetsytebibliotek till Spark-poolen läser du kommandokombinationen Get-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool.

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Ta bort bibliotek

Om du vill ta bort ett installerat paket från Spark-poolen läser du kommandokombinationen Get-AzSynapseWorkspacePackage och Update-AzSynapseSparkPool.

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Du kan också hämta en Spark-pool och ta bort alla anslutna arbetsytebibliotek från poolen genom att anropa kommandona Get-AzSynapseSparkPool och Update-AzSynapseSparkPool .

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Mer Azure PowerShell cmdletar finns i Azure PowerShell cmdletar för Azure Synapse Analytics.

Hantera paket via REST-API:er

Hantera arbetsytepaketen

Med möjligheten för REST-API:er kan du lägga till/ta bort paket eller lista alla uppladdade filer på din arbetsyta. Se de fullständiga API:er som stöds. Mer information finns i Översikt över API:er för arbetsytebibliotek.

Hantera Spark-poolpaketen

Du kan använda SPARK-poolens REST-API för att ansluta eller ta bort dina anpassade bibliotek eller öppen källkod bibliotek till dina Spark-pooler.

För anpassade bibliotek anger du listan över anpassade filer som egenskapen customLibraries i begärandetexten.

"customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

Du kan också uppdatera dina Spark-poolbibliotek genom att ange egenskapen libraryRequirements i begärandetexten.
```
"libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}
```

Nästa steg

Visa standardbiblioteken: Stöd för Apache Spark-version
Hantera Paket på Spark-poolnivå via Synapse Studio-portalen: Python-pakethantering i notebook-session

Dela via