Udostępnij za pośrednictwem

Pakiety obszarów roboczych

  • Artykuł

Pakiety obszarów roboczych mogą być plikami niestandardowymi lub prywatnymi (Python), jar (Scala/Java) lub tar.gz (R). Te pakiety można przekazać do obszaru roboczego, a później przypisać je do określonej puli platformy Spark.

Aby dodać pakiety obszarów roboczych:

  1. Przejdź do karty Zarządzanie pakietami>obszarów roboczych .
  2. Przekaż pliki koła przy użyciu selektora plików.
  3. Po przekazaniu plików do obszaru roboczego Azure Synapse można dodać te pakiety do danej puli platformy Apache Spark.

Zrzut ekranu przedstawiający wyróżnione pakiety obszarów roboczych.

Ostrzeżenie

  • W ramach Azure Synapse pula platformy Apache Spark może korzystać z bibliotek niestandardowych, które są przekazywane jako pakiety obszarów roboczych lub przekazywane w dobrze znanej ścieżce Azure Data Lake Storage. Jednak obie te opcje nie mogą być używane jednocześnie w tej samej puli platformy Apache Spark. Jeśli pakiety są dostarczane przy użyciu obu metod, zostaną zainstalowane tylko pliki wheel określone na liście Pakiety obszaru roboczego.

  • Gdy pakiety obszarów roboczych są używane do instalowania pakietów w danej puli platformy Apache Spark, istnieje ograniczenie, które nie może już określać pakietów przy użyciu ścieżki konta magazynu w tej samej puli.

Uwaga

Zaleca się, aby w obszarze roboczym nie było dostępnych wiele pakietów kół o tej samej nazwie. Jeśli chcesz użyć innej wersji tego samego pakietu koła, musisz usunąć istniejącą wersję i przekazać nową.

Konto magazynu

Niestandardowe pakiety kół można zainstalować w puli platformy Apache Spark, przekazując wszystkie pliki koła do konta Azure Data Lake Storage (Gen2), które jest połączone z obszarem roboczym usługi Synapse.

Pliki powinny zostać przekazane do następującej ścieżki w domyślnym kontenerze konta magazynu:

abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/

Ostrzeżenie

  • W niektórych przypadkach może być konieczne utworzenie ścieżki pliku na podstawie powyższej struktury, jeśli jeszcze nie istnieje. Na przykład może być konieczne dodanie python folderu w folderze libraries , jeśli jeszcze nie istnieje.
  • Ta metoda zarządzania niestandardowymi plikami koła nie będzie obsługiwana w środowisku uruchomieniowym Azure Synapse dla platformy Apache Spark 3.0. Zapoznaj się z funkcją Pakiety obszarów roboczych, aby zarządzać niestandardowymi plikami kół.

Ważne

Aby zainstalować biblioteki niestandardowe przy użyciu metody usługi Azure DataLake Storage, musisz mieć uprawnienia Współautor danych obiektu blob usługi Storage lub Właściciel danych obiektu blob usługi Storage na podstawowym koncie usługi Gen2 Storage połączonym z obszarem roboczym usługi Azure Synapse Analytics.

Następne kroki