다음을 통해 공유

Azure PowerShell cmdlet 및 REST API를 통해 라이브러리 관리 프로세스 자동화

  • 아티클

Synapse Analytics UI 페이지로 이동하지 않고 서버리스 Apache Spark 풀의 라이브러리를 관리할 수 있습니다. 예를 들어 다음 이유를 확인할 수 있습니다.

  • 사용자 지정 패키지를 개발하고 작업 영역에 업로드하고 Spark 풀에서 사용하려고 합니다. 그리고 패키지 관리 UI를 방문하지 않고 로컬 도구의 단계를 완료하려고 합니다.
  • CI/CD 프로세스를 통해 패키지를 업데이트하고 있습니다.

이 문서에서는 Azure PowerShell cmdlet 또는 REST API를 통해 라이브러리를 관리할 수 있도록 하는 일반 가이드를 제공합니다.

Azure PowerShell cmdlet을 통해 패키지 관리

새 라이브러리 추가

  1. New-AzSynapseWorkspacePackage 명령을 사용하여 작업 영역에 새 라이브러리를 업로드할 수 있습니다.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. New-AzSynapseWorkspacePackage 및 Update-AzSynapseSparkPool 명령 조합을 사용하여 작업 영역에 새 라이브러리를 업로드하고 Spark 풀에 라이브러리를 연결합니다.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. 기존 작업 영역 라이브러리를 Spark 풀에 연결하려면 Get-AzSynapseWorkspacePackage 및 Update-AzSynapseSparkPool의 명령 조합을 참조하세요.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

라이브러리 제거

  1. Spark 풀에서 설치된 패키지를 제거하려면 Get-AzSynapseWorkspacePackage 및 Update-AzSynapseSparkPool의 명령 조합을 참조하세요.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. 또한 Get-AzSynapseSparkPool 및 Update-AzSynapseSparkPool 명령을 호출하여 Spark 풀을 검색하고 풀에서 연결된 모든 작업 영역 라이브러리를 제거할 수 있습니다.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

더 많은 Azure PowerShell cmdlet 기능은 Azure Synapse Analytics용 Azure PowerShell cmdlet을 참조하세요.

REST API를 통한 패키지 관리

작업 영역 패키지 관리

REST API의 기능으로 패키지를 추가/삭제하거나 작업 영역의 업로드된 모든 파일을 나열할 수 있습니다. 지원되는 전체 API를 확인하려면 작업 영역 라이브러리 API 개요를 참조하세요.

Spark 풀 패키지 관리

Spark 풀 REST API를 활용하여 사용자 지정 또는 오픈 소스 라이브러리를 Spark 풀에 연결하거나 제거할 수 있습니다.

  1. 사용자 지정 라이브러리의 경우 요청 본문에서 사용자 지정 파일 목록을 customLibraries 속성으로 지정합니다.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. 요청 본문에 libraryRequirements 속성을 지정하여 Spark 풀 라이브러리를 업데이트할 수도 있습니다.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

다음 단계