Udostępnij za pośrednictwem

Migrowanie z usługi Azure Synapse Spark do sieci szkieletowej

  • Artykuł

Przed rozpoczęciem migracji należy sprawdzić, czy inżynierowie danych sieci szkieletowej jest najlepszym rozwiązaniem dla obciążenia. Obsługa inżynierowie danych sieci szkieletowej obsługuje elementy lakehouse, notebook, environment, Spark job definition (SJD) i potoku danych, w tym różne funkcje środowiska uruchomieniowego i platformy Spark.

Najważniejsze zagadnienia

Pierwszym krokiem tworzenia strategii migracji jest ocena przydatności. Warto zauważyć, że niektóre funkcje sieci szkieletowej związane z platformą Spark są obecnie w trakcie opracowywania lub planowania. Aby uzyskać więcej informacji i aktualizacji, odwiedź plan usługi Fabric.

Aby zapoznać się z platformą Spark, zobacz szczegółowe różnice porównania między usługą Azure Synapse Spark i siecią szkieletową.

Scenariusze migracji

Jeśli ustalisz, że inżynierowie danych sieci szkieletowej jest właściwym wyborem do migracji istniejących obciążeń platformy Spark, proces migracji może obejmować wiele scenariuszy i faz:

  • Elementy: migracja elementów obejmuje przeniesienie jednego lub różnych elementów z istniejącego obszaru roboczego usługi Azure Synapse do sieci szkieletowej. Dowiedz się więcej na temat migrowania pul platformy Spark, konfiguracji platformy Spark, bibliotek platformy Spark, notesów i definicji zadań platformy Spark.
  • Dane i potoki: za pomocą skrótów OneLake możesz udostępnić dane usługi ADLS Gen2 (połączone z obszarem roboczym usługi Azure Synapse) w usłudze Fabric lakehouse. Migracja potoku obejmuje przeniesienie istniejących potoków danych do sieci szkieletowej, w tym działania potoku definicji zadań notesu i platformy Spark. Dowiedz się więcej o migracji danych i potoków.
  • Metadane: Migracja metadanych obejmuje przenoszenie metadanych wykazu platformy Spark (baz danych, tabel i partycji) z istniejącego magazynu metadanych Hive (HMS) w usłudze Azure Synapse do usługi Fabric lakehouse. Dowiedz się więcej o migracji metadanych HMS.
  • Obszar roboczy: użytkownicy mogą migrować istniejący obszar roboczy usługi Azure Synapse, tworząc nowy obszar roboczy w usłudze Microsoft Fabric, w tym metadane. Migracja obszaru roboczego nie jest omówiona w tych wskazówkach. Zakłada się, że użytkownicy muszą utworzyć nowy obszar roboczy lub mieć istniejący obszar roboczy sieci szkieletowej. Dowiedz się więcej o rolach obszaru roboczego w sieci szkieletowej.

Zrzut ekranu przedstawiający scenariusze migracji.

Przejście z usługi Azure Synapse Spark do usługi Fabric Spark wymaga dokładnego zrozumienia bieżącej architektury i różnic między usługą Azure Synapse Spark i siecią szkieletową. Pierwszym kluczowym krokiem jest ocena, po której następuje utworzenie szczegółowego planu migracji. Ten plan można dostosować tak, aby odpowiadał unikatowym cechom systemu, zależnościom fazowym i złożoności obciążeń.

Powiązana zawartość