Udostępnij za pośrednictwem

Pakiety obszarów roboczych

  • Artykuł

Pakiety obszarów roboczych mogą być plikami niestandardowymi lub prywatnymi (Python), jar (Scala/Java) lub tar.gz (R). Możesz przekazać te pakiety do obszaru roboczego, a później przypisać je do określonej puli platformy Spark.

Aby dodać pakiety obszarów roboczych:

  1. Przejdź do karty Zarządzanie pakietami>obszarów roboczych.
  2. Przekaż pliki przy użyciu selektora plików.
  3. Po przekazaniu plików do obszaru roboczego usługi Azure Synapse można dodać te pakiety do puli platformy Apache Spark.

Zrzut ekranu przedstawiający wyróżnione pakiety obszarów roboczych.

Ostrzeżenie

  • W ramach usługi Azure Synapse pula platformy Apache Spark może korzystać z bibliotek niestandardowych, które są przekazywane jako pakiety obszarów roboczych lub przekazywane w dobrze znanej ścieżce usługi Azure Data Lake Storage. Jednak obie te opcje nie mogą być używane jednocześnie w tej samej puli platformy Apache Spark. Jeśli pakiety są dostarczane przy użyciu obu metod, zostaną zainstalowane tylko pliki wheel określone na liście Pakiety obszaru roboczego.

  • Gdy pakiety obszarów roboczych są używane do instalowania pakietów w danej puli platformy Apache Spark, istnieje ograniczenie, że nie można już określać pakietów przy użyciu ścieżki konta magazynu w tej samej puli.

Uwaga

Zaleca się, aby nie mieć wielu pakietów o tej samej nazwie w obszarze roboczym. Jeśli chcesz użyć innej wersji tego samego pakietu, musisz usunąć istniejącą wersję i przekazać nową.

Konto magazynu

Pakiety niestandardowe można zainstalować w puli Platformy Apache Spark, przekazując wszystkie pliki do konta usługi Azure Data Lake Storage (Gen2) połączonego z obszarem roboczym usługi Synapse.

Pliki powinny zostać przekazane do następującej ścieżki w domyślnym kontenerze konta magazynu:

abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/

Ostrzeżenie

  • W niektórych przypadkach może być konieczne utworzenie ścieżki pliku na podstawie powyższej struktury, jeśli jeszcze nie istnieje. Na przykład może być konieczne dodanie python folderu w folderze libraries , jeśli jeszcze nie istnieje.
  • Ta metoda zarządzania plikami niestandardowymi nie będzie obsługiwana w środowisku uruchomieniowym usługi Azure Synapse dla platformy Apache Spark 3.0. Zapoznaj się z funkcją Pakiety obszarów roboczych, aby zarządzać plikami niestandardowymi.

Ważne

Aby zainstalować biblioteki niestandardowe przy użyciu metody usługi Azure DataLake Storage, musisz mieć uprawnienia Współautor danych obiektu blob usługi Storage lub Właściciel danych obiektu blob usługi Storage na podstawowym koncie magazynu Gen2 połączonym z obszarem roboczym usługi Azure Synapse Analytics.

Następne kroki