Migrowanie danych i potoków z usługi Azure Synapse Analytics do usługi Microsoft Fabric
Pierwszym krokiem migracji danych i potoku jest zidentyfikowanie danych, które mają zostać udostępnione w usłudze OneLake, oraz potoków, które mają zostać przeniesione.
Dostępne są dwie opcje migracji danych:
- Opcja 1. Usługa Azure Data Lake Storage (ADLS) Gen2 jako magazyn domyślny. Jeśli obecnie używasz usługi ADLS Gen2 i chcesz uniknąć kopiowania danych, rozważ użycie skrótów OneLake.
- Opcja 2. OneLake jako magazyn domyślny. Jeśli chcesz przenieść się z usługi ADLS Gen2 do usługi OneLake jako warstwy magazynu, rozważ odczyt/zapis z/do usługi OneLake z notesów i definicji zadań platformy Spark.
Migracja danych
Opcja 1: USŁUGA ADLS Gen2 jako magazyn (skróty)
Jeśli korzystasz z usługi ADLS Gen2 i chcesz uniknąć duplikowania danych, możesz utworzyć skrót do ścieżki źródłowej usługi ADLS Gen2 w usłudze OneLake. Skróty można tworzyć w sekcjach Pliki i tabele lakehouse w usłudze Fabric, korzystając z następujących zagadnień:
- Sekcja Pliki to niezarządzany obszar jeziora. Jeśli dane są w formacie CSV, JSON lub Parquet, zalecamy utworzenie skrótu do tego obszaru.
- Sekcja Tabele jest obszarem zarządzanym jeziora. Wszystkie tabele, zarówno zarządzane przez platformę Spark, jak i tabele niezarządzane, są zarejestrowane tutaj. Jeśli dane są w formacie delta, możesz utworzyć skrót w tym obszarze, a proces automatycznego odnajdywania automatycznie rejestruje te tabele delty w magazynie metadanych lakehouse.
Dowiedz się więcej na temat tworzenia skrótu usługi ADLS Gen2.
Opcja 2. OneLake jako magazyn
Aby użyć usługi OneLake jako warstwy magazynu i przenieść dane z usługi ADLS Gen2, należy początkowo wskazać elementy powiązane z usługą Azure Synapse Spark do usługi OneLake, a następnie przenieść istniejące dane do usługi OneLake. Aby uzyskać informacje na ten temat, zobacz integrowanie usługi OneLake z usługą Azure Synapse Spark.
Aby przenieść istniejące dane do usługi OneLake, masz kilka opcji:
- mssparkutils fastcp: biblioteka mssparkutils udostępnia interfejs API fastcp, który umożliwia kopiowanie danych z usługi ADLS Gen2 do usługi OneLake.
- AzCopy: do kopiowania danych z usługi ADLS Gen2 do usługi OneLake można użyć narzędzia wiersza polecenia AzCopy.
- Azure Data Factory, Azure Synapse Analytics i Data Factory w sieci szkieletowej: kopiowanie danych do usługi Lakehouse za pomocą działania kopiowania.
- Użyj skrótów: możesz włączyć dane historyczne usługi ADLS Gen2 w usłudze OneLake przy użyciu skrótów. Nie trzeba kopiować danych.
- Eksplorator usługi Azure Storage: pliki można przenieść z lokalizacji usługi ADLS Gen2 do usługi OneLake przy użyciu Eksplorator usługi Azure Storage. Zobacz, jak zintegrować aplikację OneLake z Eksplorator usługi Azure Storage.
Migracja potoków (działania związane z platformą Spark)
Jeśli potoki danych usługi Azure Synapse obejmują notes i/lub działania definicji zadań platformy Spark, należy przenieść te potoki z usługi Azure Synapse do potoków danych usługi Data Factory w sieci szkieletowej i odwołać się do notesów docelowych. Działanie notesu jest dostępne w potokach danych usługi Data Factory. Zobacz wszystkie obsługiwane działania potoku danych w usłudze Fabric tutaj.
- W przypadku zagadnień dotyczących działania potoku danych związanych z platformą Spark zapoznaj się z różnicami między usługą Azure Synapse Spark i siecią szkieletową.
- Aby przeprowadzić migrację notesu, zapoznaj się z tematem Migrowanie notesów z usługi Azure Synapse do sieci szkieletowej.
- Aby uzyskać informacje na temat migracji potoku danych, zobacz Migrowanie do usługi Data Factory w sieci szkieletowej.