Migrowanie konfiguracji platformy Spark z usługi Azure Synapse Analytics do sieci szkieletowej
Platforma Apache Spark udostępnia wiele konfiguracji, które można dostosować w celu ulepszenia środowiska w różnych scenariuszach. W usłudze Azure Synapse Spark i Fabric inżynierowie danych ing masz elastyczność uwzględnienia tych konfiguracji lub właściwości w celu dostosowania środowiska. W usłudze Fabric można dodawać konfiguracje platformy Spark do środowiska i używać wbudowanych właściwości platformy Spark bezpośrednio w ramach zadań platformy Spark. Aby przenieść konfiguracje puli platformy Spark usługi Azure Synapse do sieci szkieletowej, użyj środowiska.
W przypadku zagadnień dotyczących konfiguracji platformy Spark zapoznaj się z różnicami między usługą Azure Synapse Spark i siecią szkieletową.
Wymagania wstępne
- Jeśli jeszcze go nie masz, utwórz obszar roboczy sieć szkieletowa w dzierżawie.
- Jeśli jeszcze go nie masz, utwórz środowisko w obszarze roboczym.
Opcja 1. Dodawanie konfiguracji platformy Spark do środowiska niestandardowego
W środowisku można ustawić właściwości platformy Spark i te konfiguracje są stosowane do wybranej puli środowisk.
- Otwórz program Synapse Studio: zaloguj się na platformie Azure. Przejdź do obszaru roboczego usługi Azure Synapse i otwórz program Synapse Studio.
-
Znajdź konfiguracje platformy Spark:
- Przejdź do obszaru Zarządzanie i wybierz pozycję Pule platformy Apache Spark.
- Znajdź pulę platformy Apache Spark, wybierz pozycję Konfiguracja platformy Apache Spark i znajdź nazwę konfiguracji platformy Spark dla puli.
- Pobierz konfiguracje platformy Spark: możesz uzyskać te właściwości, wybierając pozycję Wyświetl konfiguracje lub eksportując konfigurację (.txt/.conf/.json format) z obszaru Konfiguracje i biblioteki Konfiguracje platformy> Apache Spark.
- Po skonfigurowaniu platformy Spark dodaj niestandardowe właściwości platformy Spark do środowiska w sieci szkieletowej:
- W obszarze Środowisko przejdź do właściwości spark compute>spark.
- Dodaj konfiguracje platformy Spark. Można dodać każdą ręcznie lub zaimportować z .yml.
- Kliknij pozycję Zapisz i opublikuj zmiany.
Dowiedz się więcej na temat dodawania konfiguracji platformy Spark do środowiska.