Udostępnij za pośrednictwem

Migrowanie bibliotek platformy Spark z usługi Azure Synapse do sieci szkieletowej

  • Artykuł

Pula platformy Azure Synapse Spark oferuje różne opcje kanału informacyjnego i biblioteki niestandardowej. W sieci szkieletowej każde środowisko uruchomieniowe zawiera wstępnie zainstalowany zestaw bibliotek (wbudowane biblioteki). Jednak w zależności od scenariuszy i konkretnych potrzeb można również uwzględnić inne biblioteki przy użyciu bibliotek środowiskowych i bibliotek wbudowanych. Aby przenieść biblioteki puli Platformy Spark usługi Azure Synapse do sieci szkieletowej, użyj bibliotek środowiskowych.

Aby zapoznać się z zagadnieniami dotyczącymi biblioteki platformy Spark, zapoznaj się z różnicami między usługą Azure Synapse Spark i usługą Fabric.

Wymagania wstępne

  • Jeśli jeszcze go nie masz, utwórz obszar roboczy sieć szkieletowa w dzierżawie.
  • Jeśli jeszcze go nie masz, utwórz środowisko w obszarze roboczym.

Opcja 1. Dodawanie bibliotek platformy Spark do środowiska niestandardowego

Biblioteki puli platformy Spark można przenieść do środowiska w następujący sposób:

  1. Otwórz program Synapse Studio: zaloguj się na platformie Azure. Przejdź do obszaru roboczego usługi Azure Synapse i otwórz program Synapse Studio.
  2. Znajdź biblioteki platformy Spark:
    • Przejdź do obszaru Zarządzanie i wybierz pozycję Pule platformy Apache Spark.
    • Znajdź pulę platformy Apache Spark, wybierz pozycję Pakiety i znajdź biblioteki platformy Spark dla puli.
  3. Pobieranie bibliotek platformy Spark: znajdź pakiety requirements.txt, environment.yml lub obszarów roboczych zainstalowane w puli. Pobierz listę zainstalowanych bibliotek w puli.
  4. Po utworzeniu bibliotek platformy Spark dodaj niestandardowe biblioteki Spark do środowiska w usłudze Fabric. W środowisku przejdź do pozycji Biblioteki i dodaj biblioteki:
    • Z poziomu bibliotek publicznych można przekazać plik .yml. Biblioteki można również instalować przy użyciu interfejsu PyPI i Conda.
    • Z bibliotek niestandardowych można instalować biblioteki przy użyciu plików .jar/.whl/.tar.gz.
  5. Kliknij pozycję Zapisz i opublikuj zmiany.

Zrzut ekranu przedstawiający biblioteki platformy Spark.

Dowiedz się więcej na temat dodawania bibliotek platformy Spark do środowiska.

Uwaga

Należy pamiętać, że instalacja biblioteki może zająć trochę czasu.

Powiązana zawartość