Migrowanie pul platformy Spark z usługi Azure Synapse Analytics do sieci szkieletowej

Usługa Azure Synapse udostępnia pule platformy Spark, natomiast usługa Fabric oferuje pule startowe i pule niestandardowe. Pula startowa może być dobrym wyborem, jeśli masz jedną pulę bez niestandardowych konfiguracji ani bibliotek w usłudze Azure Synapse, a jeśli średni rozmiar węzła spełnia twoje wymagania. Jeśli jednak szukasz większej elastyczności w konfiguracjach puli platformy Spark, zalecamy użycie pul niestandardowych. Dostępne są dwie opcje:

• Opcja 1. Przenieś pulę platformy Spark do domyślnej puli obszaru roboczego.
• Opcja 2. Przenieś pulę platformy Spark do środowiska niestandardowego w sieci szkieletowej.

Jeśli masz więcej niż jedną pulę platformy Spark i planujesz przenieść je do tego samego obszaru roboczego sieci Szkieletowej, zalecamy użycie opcji 2, utworzenie wielu środowisk niestandardowych i pul.

W przypadku zagadnień dotyczących puli platformy Spark zapoznaj się z różnicami między usługą Azure Synapse Spark i siecią szkieletową.

Wymagania wstępne

Jeśli jeszcze go nie masz, utwórz obszar roboczy sieć szkieletowa w dzierżawie.

Opcja 1. Z puli Spark do domyślnej puli obszarów roboczych

Możesz utworzyć niestandardową pulę platformy Spark z obszaru roboczego sieci Szkieletowej i użyć jej jako puli domyślnej w obszarze roboczym. Pula domyślna jest używana przez wszystkie notesy i definicje zadań platformy Spark w tym samym obszarze roboczym.

Aby przejść z istniejącej puli Spark z usługi Azure Synapse do domyślnej puli obszarów roboczych:

1. Uzyskiwanie dostępu do obszaru roboczego usługi Azure Synapse: logowanie się do platformy Azure. Przejdź do obszaru roboczego usługi Azure Synapse, przejdź do obszaru Pule analiz i wybierz pozycję Pule platformy Apache Spark.
2. Znajdź pulę Spark: z pul platformy Apache Spark znajdź pulę platformy Spark, którą chcesz przenieść do sieci szkieletowej, i sprawdź właściwości puli.
3. Pobierz właściwości: pobierz właściwości puli Spark, takie jak wersja platformy Apache Spark, rodzina rozmiarów węzłów, rozmiar węzła lub autoskalowanie. Zapoznaj się z zagadnieniami dotyczącymi puli platformy Spark, aby zobaczyć różnice.
4. Utwórz niestandardową pulę platformy Spark w sieci szkieletowej:
   • Przejdź do obszaru roboczego Sieć szkieletowa i wybierz pozycję Ustawienia obszaru roboczego.
   • Przejdź do inżynierowie danych/nauki i wybierz pozycję Ustawienia platformy Spark.
   • Na karcie Pula i w sekcji Domyślna pula dla obszaru roboczego rozwiń menu rozwijane i wybierz pozycję Utwórz nową pulę.
   • Utwórz pulę niestandardową z odpowiednimi wartościami docelowymi. Wypełnij nazwy, rodzinę węzłów, rozmiar węzła, skalowanie automatyczne i dynamiczne opcje alokacji funkcji wykonawczej.
5. Wybierz wersję środowiska uruchomieniowego:
   • Przejdź do karty Środowisko i wybierz wymaganą wersję środowiska uruchomieniowego. Zobacz dostępne środowiska uruchomieniowe tutaj.
   • Wyłącz opcję Ustaw środowisko domyślne.

Uwaga

W tej opcji biblioteki lub konfiguracje na poziomie puli nie są obsługiwane. Można jednak dostosować konfigurację obliczeniową poszczególnych elementów, takich jak notesy i definicje zadań platformy Spark, i dodać biblioteki wbudowane. Jeśli musisz dodać niestandardowe biblioteki i konfiguracje do środowiska, rozważ użycie środowiska niestandardowego.

Opcja 2. Z puli spark do środowiska niestandardowego

Za pomocą środowisk niestandardowych można skonfigurować niestandardowe właściwości i biblioteki platformy Spark. Aby utworzyć środowisko niestandardowe:

1. Uzyskiwanie dostępu do obszaru roboczego usługi Azure Synapse: logowanie się do platformy Azure. Przejdź do obszaru roboczego usługi Azure Synapse, przejdź do obszaru Pule analiz i wybierz pozycję Pule platformy Apache Spark.
2. Znajdź pulę Spark: z pul platformy Apache Spark znajdź pulę platformy Spark, którą chcesz przenieść do sieci szkieletowej, i sprawdź właściwości puli.
3. Pobierz właściwości: pobierz właściwości puli Spark, takie jak wersja platformy Apache Spark, rodzina rozmiarów węzłów, rozmiar węzła lub autoskalowanie. Zapoznaj się z zagadnieniami dotyczącymi puli platformy Spark, aby zobaczyć różnice.
4. Utwórz niestandardową pulę platformy Spark:
   • Przejdź do obszaru roboczego Sieć szkieletowa i wybierz pozycję Ustawienia obszaru roboczego.
   • Przejdź do inżynierowie danych/nauki i wybierz pozycję Ustawienia platformy Spark.
   • Na karcie Pula i w sekcji Domyślna pula dla obszaru roboczego rozwiń menu rozwijane i wybierz pozycję Utwórz nową pulę.
   • Utwórz pulę niestandardową z odpowiednimi wartościami docelowymi. Wypełnij nazwy, rodzinę węzłów, rozmiar węzła, skalowanie automatyczne i dynamiczne opcje alokacji funkcji wykonawczej.
5. Utwórz element Środowisko , jeśli go nie masz.
6. Konfigurowanie obliczeń platformy Spark:
   • W obszarze Środowisko przejdź do obszaru Obliczenia obliczeniowe>platformy Spark.
   • Wybierz nowo utworzoną pulę dla nowego środowiska.
   • Można skonfigurować rdzenie i pamięć sterowników i funkcji wykonawczych.
7. Wybierz wersję środowiska uruchomieniowego dla środowiska. Zobacz dostępne środowiska uruchomieniowe tutaj.
8. Kliknij pozycję Zapisz i opublikuj zmiany.

Dowiedz się więcej na temat tworzenia i używania środowiska.

Powiązana zawartość

• Migrowanie konfiguracji platformy Spark
• Migrowanie bibliotek platformy Spark