Azure PowerShell コマンドレットと REST API を使用してライブラリ管理プロセスを自動化する
Synapse Analytics UI ページにアクセスせずに、サーバーレス Apache Spark プールのライブラリを管理したい場合があります。 たとえば、次のようなことが考えられます。
- カスタム パッケージを開発し、それをワークスペースにアップロードし、Spark プールで使用する。 また、パッケージ管理 UI にアクセスせずに、ローカル ツールで手順を完了したいと考えています。
- CI/CD プロセスを使用してパッケージを更新する
この記事では、Azure PowerShell コマンドレットまたは REST API を使用してライブラリを管理するために役立つ一般的なガイドを提供します。
Azure PowerShell コマンドレットを使用してパッケージを管理する
新しいライブラリの追加
New-AzSynapseWorkspacePackage コマンドを使用して、新しいライブラリをワークスペースにアップロードできます。
New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
New-AzSynapseWorkspacePackage コマンドと Update-AzSynapseSparkPool コマンドの組み合わせを使用して、新しいライブラリをワークスペースにアップロードし、ライブラリを Spark プールにアタッチすることができます。
$package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl" Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package
既存のワークスペース ライブラリを Spark プールにアタッチする場合は、Get-AzSynapseWorkspacePackage と Update-AzSynapseSparkPool のコマンドの組み合わせを参照してください。
$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages
ライブラリの削除
Spark プールからインストール済みのパッケージを削除する場合は、Get-AzSynapseWorkspacePackage と Update-AzSynapseSparkPool のコマンドの組み合わせを参照してください。
$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package
また、Get-AzSynapseSparkPool コマンドと Update-AzSynapseSparkPool コマンドを呼び出すことで、Spark プールを取得し、プールからアタッチされているすべてのワークスペース ライブラリを削除することもできます。
$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool $pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages
Azure PowerShell コマンドレットの機能の詳細については、Azure Synapse Analytics のAzure PowerShell コマンドレットに関するページを参照してください。
REST API を使用してパッケージを管理する
ワークスペース パッケージを管理する
REST API の機能を使用すると、パッケージを追加/削除したり、ワークスペースのアップロードされたすべてのファイルを一覧表示したりできます。 サポートされているすべての API については、ワークスペース ライブラリ API の概要に関するページを参照してください。
Spark プール パッケージを管理する
Spark プール REST API を利用して、カスタム ライブラリまたはオープン ソース ライブラリを Spark プールにアタッチまたは削除できます。
カスタム ライブラリの場合は、要求本文の customLibraries プロパティとしてカスタム ファイルの一覧を指定してください。
"customLibraries": [ { "name": "samplejartestfile.jar", "path": "<workspace-name>/libraries/<jar-name>.jar", "containerName": "prep", "uploadedTimestamp": "1970-01-01T00:00:00Z", "type": "jar" } ]
要求本文で libraryRequirements プロパティを指定することで、Spark プール ライブラリを更新することもできます。
"libraryRequirements": { "content": "", "filename": "requirements.txt" }
次のステップ
- 既定のライブラリを確認します: Apache Spark バージョンのサポート
- Synapse Studio ポータルを使用して Spark プール レベル パッケージを管理する: Notebook セッションでの Python パッケージ管理