Ładowanie danych do usługi Azure Synapse Analytics przy użyciu usługi Azure Data Factory lub potoku usługi Synapse

Artykuł
05/15/2024

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Usługa Azure Synapse Analytics to oparta na chmurze, skalowana w poziomie baza danych, która umożliwia przetwarzanie ogromnych ilości danych, zarówno relacyjnych, jak i nierelacyjnych. Usługa Azure Synapse Analytics jest oparta na architekturze masowego przetwarzania równoległego (MPP), która jest zoptymalizowana pod kątem obciążeń magazynu danych przedsiębiorstwa. Zapewnia elastyczność chmury dzięki elastyczności skalowania magazynu i obliczeń niezależnie.

Wprowadzenie do usługi Azure Synapse Analytics jest teraz łatwiejsze niż kiedykolwiek wcześniej. Azure Data Factory i jej równoważna funkcja potoków w usłudze Azure Synapse zapewniają w pełni zarządzaną usługę integracji danych w chmurze. Za pomocą tej usługi możesz wypełnić Azure Synapse Analytics danymi z istniejącego systemu i zaoszczędzić czas podczas tworzenia rozwiązań analitycznych.

Potoki usług Azure Data Factory i Synapse oferują następujące korzyści z ładowania danych do usługi Azure Synapse Analytics:

Łatwa konfiguracja: intuicyjny kreator 5-krokowy bez konieczności obsługi skryptów.
Obsługa rozbudowanego magazynu danych: wbudowana obsługa rozbudowanego zestawu lokalnych i opartych na chmurze magazynów danych. Aby uzyskać szczegółową listę, zobacz tabelę Obsługiwanych magazynów danych.
Bezpieczne i zgodne: dane są przesyłane za pośrednictwem protokołu HTTPS lub usługi ExpressRoute. Obecność usługi globalnej gwarantuje, że dane nigdy nie opuszczają granicy geograficznej.
Niezrównana wydajność przy użyciu technologii PolyBase: Technologia Polybase to najbardziej wydajny sposób przenoszenia danych do usługi Azure Synapse Analytics. Funkcja przejściowego obiektu blob umożliwia osiągnięcie dużych szybkości ładowania ze wszystkich typów magazynów danych, w tym usług Azure Blob Storage i Data Lake Store. (Technologia Polybase domyślnie obsługuje usługi Azure Blob Storage i Azure Data Lake Store). Aby uzyskać szczegółowe informacje, zobacz działanie Kopiuj wydajność.

W tym artykule pokazano, jak za pomocą narzędzia do kopiowania danych załadować dane z usługi Azure SQL Database do usługi Azure Synapse Analytics. Możesz wykonać podobne kroki, aby skopiować dane z innych typów magazynów danych.

Uwaga

Aby uzyskać więcej informacji, zobacz Kopiowanie danych do lub z usługi Azure Synapse Analytics.

Wymagania wstępne

Subskrypcja platformy Azure: jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto .
Azure Synapse Analytics: magazyn danych przechowuje dane skopiowane z bazy danych SQL. Jeśli nie masz usługi Azure Synapse Analytics, zapoznaj się z instrukcjami w temacie Tworzenie usługi Azure Synapse Analytics.
Azure SQL Database: ten samouczek kopiuje dane z przykładowego zestawu danych Adventure Works LT w usłudze Azure SQL Database. Tę przykładową bazę danych można utworzyć w usłudze SQL Database, postępując zgodnie z instrukcjami w temacie Tworzenie przykładowej bazy danych w usłudze Azure SQL Database.
Konto usługi Azure Storage: usługa Azure Storage jest używana jako przejściowy obiekt blob w operacji kopiowania zbiorczego. Jeśli nie masz konta usługi Azure Storage, zobacz instrukcje podane w temacie Tworzenie konta magazynu.

Tworzenie fabryki danych

Jeśli fabryka danych nie została jeszcze utworzona, wykonaj kroki opisane w przewodniku Szybki start: Tworzenie fabryki danych przy użyciu witryny Azure Portal i programu Azure Data Factory Studio , aby je utworzyć. Po utworzeniu przejdź do fabryki danych w witrynie Azure Portal.
Wybierz pozycję Otwórz na kafelku Otwórz usługę Azure Data Factory Studio, aby uruchomić aplikację Integracja danych na osobnej karcie.

Ładowanie danych do usługi Azure Synapse Analytics

Na stronie głównej obszaru roboczego usługi Azure Data Factory lub Azure Synapse wybierz kafelek Pozyskiwanie , aby uruchomić narzędzie do kopiowania danych. Następnie wybierz wbudowane zadanie kopiowania.
Na stronie Właściwości wybierz pozycję Wbudowane zadanie kopiowania w obszarze Typ zadania, a następnie wybierz pozycję Dalej.
Na stronie Źródłowy magazyn danych wykonaj następujące kroki:

Napiwek

W tym samouczku użyjesz uwierzytelniania SQL jako typu uwierzytelniania dla źródłowego magazynu danych, ale w razie potrzeby możesz wybrać inne obsługiwane metody uwierzytelniania: jednostka usługi i tożsamość zarządzana. Aby uzyskać szczegółowe informacje, zapoznaj się z odpowiednimi sekcjami w tym artykule . Aby bezpiecznie przechowywać wpisy tajne dla magazynów danych, zaleca się również używanie usługi Azure Key Vault. Zapoznaj się z tym artykułem, aby uzyskać szczegółowe ilustracje.
1. Wybierz + Nowe połączenie.
2. Wybierz pozycję Azure SQL Database z galerii, a następnie wybierz pozycję Kontynuuj. Możesz wpisać "SQL" w polu wyszukiwania, aby odfiltrować łączniki.
3. Na stronie Nowe połączenie (Azure SQL Database) wybierz nazwę serwera i nazwę bazy danych z listy rozwijanej, a następnie określ nazwę użytkownika i hasło. Wybierz pozycję Testuj połączenie , aby zweryfikować ustawienia, a następnie wybierz pozycję Utwórz.
4. Na stronie Źródłowy magazyn danych wybierz nowo utworzone połączenie jako źródło w sekcji Połączenie.
5. W sekcji Tabele źródłowe wprowadź wartość SalesLT, aby filtrować tabele. Wybierz pole (Zaznacz wszystko), aby użyć wszystkich tabel dla kopii, a następnie wybierz przycisk Dalej.
Na stronie Zastosuj filtr określ ustawienia lub wybierz przycisk Dalej. Możesz wyświetlić podgląd danych i wyświetlić schemat danych wejściowych, wybierając przycisk Podgląd danych na tej stronie.
Na stronie Docelowy magazyn danych wykonaj następujące kroki:

Napiwek

W tym samouczku użyjesz uwierzytelniania SQL jako typu uwierzytelniania dla docelowego magazynu danych, ale w razie potrzeby możesz wybrać inne obsługiwane metody uwierzytelniania: jednostka usługi i tożsamość zarządzana. Aby uzyskać szczegółowe informacje, zapoznaj się z odpowiednimi sekcjami w tym artykule . Aby bezpiecznie przechowywać wpisy tajne dla magazynów danych, zaleca się również używanie usługi Azure Key Vault. Zapoznaj się z tym artykułem, aby uzyskać szczegółowe ilustracje.
1. Wybierz pozycję + Nowe połączenie , aby dodać połączenie.
2. Wybierz pozycję Azure Synapse Analytics z galerii i wybierz pozycję Kontynuuj.
3. Na stronie Nowe połączenie (Azure Synapse Analytics) wybierz nazwę serwera i nazwę bazy danych z listy rozwijanej, a następnie określ nazwę użytkownika i hasło. Wybierz pozycję Testuj połączenie , aby zweryfikować ustawienia, a następnie wybierz pozycję Utwórz.
4. Na stronie Docelowy magazyn danych wybierz nowo utworzone połączenie jako ujście w sekcji Połączenie.
W sekcji Mapowanie tabel przejrzyj zawartość i wybierz pozycję Dalej. Zostanie wyświetlone inteligentne mapowanie tabeli. Tabele źródłowe są mapowane na tabele docelowe na podstawie nazw tabel. Jeśli tabela źródłowa nie istnieje w miejscu docelowym, usługa domyślnie tworzy tabelę docelową o tej samej nazwie. Możesz również zamapować tabelę źródłową na istniejącą tabelę docelową.
Na stronie Mapowanie kolumn przejrzyj zawartość i wybierz pozycję Dalej. Inteligentne mapowanie tabeli jest oparte na nazwie kolumny. Jeśli usługa automatycznie utworzy tabele, konwersja typów danych może wystąpić, gdy występują niezgodności między magazynami źródłowymi i docelowymi. Jeśli między kolumną źródłową i docelową istnieje nieobsługiwana konwersja typu danych, obok odpowiedniej tabeli zostanie wyświetlony komunikat o błędzie.
Na stronie Ustawienia wykonaj następujące kroki:
1. W polu Nazwa zadania określ wartość CopyFromSQLToSQLToSQLDW.
2. W sekcji Ustawienia przejściowe wybierz pozycję + Nowy , aby utworzyć nowy magazyn przejściowy. Magazyn jest używany do przemieszczania danych przed załadowaniem ich do usługi Azure Synapse Analytics przy użyciu technologii PolyBase. Po zakończeniu kopiowania dane tymczasowe w usłudze Azure Blob Storage są automatycznie czyszczone.
3. Na stronie Nowa połączona usługa wybierz konto magazynu, a następnie wybierz pozycję Utwórz, aby wdrożyć połączoną usługę.
4. Usuń zaznaczenie opcji Użyj typu domyślnego, a następnie wybierz przycisk Dalej.
Na stronie Podsumowanie przejrzyj ustawienia i wybierz pozycję Dalej.
Na stronie Wdrażanie wybierz pozycję Monitorowanie, aby monitorować potok (zadanie).
Zwróć uwagę, że karta Monitor po lewej stronie jest automatycznie wybrana. Po pomyślnym zakończeniu przebiegu potoku wybierz link CopyFromSQLToSQLToSQLDW w kolumnie Nazwa potoku, aby wyświetlić szczegóły uruchomienia działania lub ponownie uruchomić potok.
- Azure Data Factory
- Azure Synapse

Aby wrócić do widoku przebiegów potoku, wybierz link Wszystkie uruchomienia potoku u góry. Wybierz pozycję Odśwież, aby odświeżyć listę.
Aby monitorować szczegóły wykonywania dla każdego działania kopiowania, wybierz link Szczegóły (ikona okularów) w obszarze Nazwa działania w widoku przebiegów działań. Możesz monitorować szczegóły, takie jak ilość danych skopiowanych ze źródła do ujścia, przepływność danych, kroki wykonywania z odpowiednim czasem trwania i używane konfiguracje.