Samouczek: kopiowanie danych z bazy danych programu SQL Server do usługi Azure Blob Storage

Artykuł
10/03/2024

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym samouczku użyjesz programu Azure PowerShell do utworzenia potoku fabryki danych, który kopiuje dane z bazy danych programu SQL Server do usługi Azure Blob Storage. Utworzysz własne środowisko Integration Runtime (Self-hosted), służące do przenoszenia danych między lokalnym magazynem danych i magazynem danych w chmurze.

Uwaga

Ten artykuł nie zawiera szczegółowego wprowadzenia do usługi Data Factory. Aby uzyskać więcej informacji, zobacz Wprowadzenie do usługi Azure Data Factory.

Ten samouczek obejmuje wykonanie następujących kroków:

Tworzenie fabryki danych.
Utwórz własne środowisko Integration Runtime.
Tworzenie połączonych zestawów programu SQL Server i usługi Azure Storage.
Tworzenie zestawów danych programu SQL Server i usługi Azure Blob.
Tworzenie potoku z działaniem kopiowania do przenoszenia danych.
Uruchom potok.
Monitorowanie uruchomienia potoku.

Wymagania wstępne

Subskrypcja platformy Azure

Jeśli nie masz jeszcze subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Role na platformie Azure

Aby utworzyć wystąpienia usługi Data Factory, konto użytkownika używane do logowania się na platformie Azure musi mieć przypisaną rolę współautora lub właściciela albo być administratorem subskrypcji platformy Azure.

W witrynie Azure Portal wybierz swoją nazwę użytkownika w prawym górnym rogu i wybierz pozycję Uprawnienia, aby wyświetlić uprawnienia, które masz w subskrypcji. Jeśli masz dostęp do wielu subskrypcji, wybierz odpowiednią subskrypcję. Aby uzyskać przykładowe instrukcje dotyczące dodawania użytkownika do roli, zobacz artykuł Przypisywanie ról platformy Azure przy użyciu witryny Azure Portal .

Program SQL Server 2014, 2016 oraz 2017

W tym samouczku użyjesz bazy danych programu SQL Server jako źródłowego magazynu danych. Potok w fabryce danych utworzony w tym samouczku kopiuje dane z tej bazy danych programu SQL Server (źródła) do usługi Azure Blob Storage (ujścia). Następnie utworzysz tabelę o nazwie emp w bazie danych programu SQL Server i wstawisz kilka przykładowych wpisów w tabeli.

Uruchom program SQL Server Management Studio. Jeśli program nie jest jeszcze zainstalowany na używanej maszynie, przejdź do strony pobierania programu SQL Server Management Studio.
Połącz się z wystąpieniem programu SQL Server przy użyciu swoich poświadczeń.
Utwórz przykładową bazę danych. W widoku drzewa kliknij prawym przyciskiem myszy pozycję Bazy danych, a następnie wybierz pozycję Nowa baza danych.
W oknie Nowa baza danych wprowadź nazwę bazy danych, a następnie wybierz przycisk OK.

Aby utworzyć tabelę emp i wstawić do niej przykładowe dane, uruchom następujący skrypt zapytania w bazie danych. W widoku drzewa kliknij prawym przyciskiem myszy utworzoną bazę danych, a następnie wybierz pozycję Nowe zapytanie.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO

Konto usługi Azure Storage

W tym samouczku używasz konta usługi Azure Storage ogólnego przeznaczenia (a dokładniej usługi Azure Blob Storage) jako docelowego magazynu danych (ujścia). Jeśli nie masz konta usługi Azure Storage ogólnego przeznaczenia, zobacz Tworzenie konta magazynu. Potok w fabryce danych utworzony w tym samouczku kopiuje dane z bazy danych programu SQL Server (źródła) do tego magazynu obiektów blob platformy Azure (ujścia).

Pobieranie nazwy konta i klucza konta magazynu

W tym samouczku używasz nazwy i klucza swojego konta usługi Azure Storage. Pobierz nazwę i klucz konta usługi Storage, wykonując następujące czynności:

Zaloguj się do witryny Azure Portal przy użyciu nazwy użytkownika i hasła do konta platformy Azure.
W okienku po lewej stronie wybierz pozycję Więcej usług, zastosuj filtrowanie według słowa kluczowego magazyn, a następnie wybierz pozycję Konta magazynu.
Na liście kont magazynu znajdź swoje konto magazynu, w razie potrzeby używając filtrowania, a następnie wybierz to konto.
W oknie Konto magazynu wybierz pozycję Klucze dostępu.
Skopiuj wartości z pól Nazwa konta magazynu i klucz1 i wklej je do Notatnika lub innego edytora do późniejszego użycia z tym samouczkiem.

Tworzenie kontenera adftutorial

W tej sekcji utworzysz kontener obiektów blob o nazwie adftutorial w usłudze Azure Blob Storage.

W oknie Konto magazynu przełącz się do widoku Przegląd, a następnie wybierz pozycję Obiekty blob.
W oknie Blob Service wybierz pozycję Kontener.
W oknie Nowy kontener w polu Nazwa wpisz nazwę adftutorial, a następnie wybierz pozycję OK.
Kliknij pozycję adftutorial na liście kontenerów.
Pozostaw otwarte okno konteneraadftutorial. Będzie ona używana do weryfikacji danych wyjściowych na końcu tego samouczka. Usługa Data Factory automatycznie tworzy folder wyjściowy w tym kontenerze, więc Ty nie musisz go tworzyć.

Windows PowerShell

Instalowanie programu Azure PowerShell

Uwaga

Do interakcji z platformą Azure zalecamy używanie modułu Azure Az w programie PowerShell. Zobacz Instalowanie programu Azure PowerShell, aby rozpocząć. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Zainstaluj najnowszą wersję programu Azure PowerShell, jeśli nie masz jej jeszcze na swojej maszynie. Aby uzyskać szczegółowe informacje, zobacz How to install and configure Azure PowerShell (Jak zainstalować i skonfigurować program Azure PowerShell).

Logowanie do programu PowerShell

Uruchom program PowerShell na maszynie i pozostaw ten program otwarty aż do zakończenia pracy z tym samouczkiem Szybki start. Jeśli go zamkniesz i otworzysz ponownie, musisz uruchomić te polecenia jeszcze raz.
Uruchom poniższe polecenie, a następnie wprowadź nazwę użytkownika platformy Azure oraz hasło, których używasz do logowania się w witrynie Azure Portal:
```
Connect-AzAccount
```
Jeśli masz wiele subskrypcji platformy Azure, uruchom poniższe polecenie, aby wybrać subskrypcję, z którą chcesz pracować. Zastąp parametr SubscriptionId identyfikatorem Twojej subskrypcji platformy Azure:
```
Select-AzSubscription -SubscriptionId "<SubscriptionId>"   	
```

Tworzenie fabryki danych

Zdefiniuj zmienną nazwy grupy zasobów, której użyjesz później w poleceniach programu PowerShell. Skopiuj poniższe polecenie do programu PowerShell, podaj nazwę grupy zasobów platformy Azure w podwójnych cudzysłowach (na przykład "adfrg"), a następnie uruchom polecenie.
```
$resourceGroupName = "ADFTutorialResourceGroup"
```
Aby utworzyć grupę zasobów platformy Azure, uruchom następujące polecenie:
```
New-AzResourceGroup $resourceGroupName -location 'East US'
```
Jeśli grupa zasobów już istnieje, możesz zrezygnować z jej zastąpienia. Przypisz inną wartość do zmiennej $resourceGroupName i ponownie uruchom polecenie.
Zdefiniuj zmienną nazwy fabryki danych, której możesz użyć później w poleceniach programu PowerShell. Nazwa musi zaczynać się od litery lub cyfry i może zawierać tylko litery, cyfry i znak łącznika (-).

Ważne

Zaktualizuj nazwę fabryki danych, nadając jej globalnie unikatową nazwę. Na przykład: ADFTutorialFactorySP1127.
```
$dataFactoryName = "ADFTutorialFactory"
```
Zdefiniuj zmienną lokalizacji fabryki danych:
```
$location = "East US"
```

Aby utworzyć fabrykę danych, uruchom następujące polecenie cmdlet Set-AzDataFactoryV2:

Set-AzDataFactoryV2 -ResourceGroupName $resourceGroupName -Location $location -Name $dataFactoryName

Uwaga

Nazwa fabryki danych musi być globalnie unikatowa. Jeśli zostanie wyświetlony następujący błąd, zmień nazwę i spróbuj ponownie.
```
The specified data factory name 'ADFv2TutorialDataFactory' is already in use. Data factory names must be globally unique.
```
Aby utworzyć wystąpienia usługi Data Factory, konto użytkownika używane do logowania się na platformie Azure musi mieć przypisaną rolę współautora lub właściciela albo być administratorem subskrypcji platformy Azure.
Aby uzyskać listę regionów platformy Azure, w których obecnie jest dostępna usługa Data Factory, wybierz dane regiony na poniższej stronie, a następnie rozwiń węzeł Analiza, aby zlokalizować pozycję Data Factory: Produkty dostępne według regionu. Magazyny danych (Azure Storage, Azure SQL Database itd.) i jednostki obliczeniowe (Azure HDInsight itd.) używane przez fabrykę danych mogą mieścić się w innych regionach.

Tworzenie własnego środowiska Integration Runtime

W tej sekcji utworzysz własne środowisko Integration Runtime i skojarzysz je z maszyną lokalną za pomocą bazy danych programu SQL Server. Własne środowisko Integration Runtime jest składnikiem, który kopiuje dane z bazy danych programu SQL Server na Twojej maszynie do usługi Azure Blob Storage.

Utwórz zmienną dla nazwy środowiska Integration Runtime. Użyj unikatowej nazwy i zanotuj ją. Będziesz jej używać w dalszej części tego samouczka.
```
$integrationRuntimeName = "ADFTutorialIR"
```

Utwórz własne środowisko Integration Runtime.

Set-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName -Name $integrationRuntimeName -Type SelfHosted -Description "selfhosted IR description"

Oto przykładowe dane wyjściowe:

Name              : ADFTutorialIR
Type              : SelfHosted
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Description       : selfhosted IR description
Id                : /subscriptions/<subscription ID>/resourceGroups/<resourceGroupName>/providers/Microsoft.DataFactory/factories/<dataFactoryName>/integrationruntimes/<integrationRuntimeName>

Uruchom następujące polecenie, aby pobrać stan utworzonego środowiska Integration Runtime:

Get-AzDataFactoryV2IntegrationRuntime -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName -Status

Oto przykładowe dane wyjściowe:

State                     : NeedRegistration
Version                   :
CreateTime                : 9/10/2019 3:24:09 AM
AutoUpdate                : On
ScheduledUpdateDate       :
UpdateDelayOffset         :
LocalTimeZoneOffset       :
InternalChannelEncryption :
Capabilities              : {}
ServiceUrls               : {eu.frontend.clouddatahub.net}
Nodes                     : {}
Links                     : {}
Name                      : <Integration Runtime name>
Type                      : SelfHosted
ResourceGroupName         : <resourceGroup name>
DataFactoryName           : <dataFactory name>
Description               : selfhosted IR description
Id                        : /subscriptions/<subscription ID>/resourceGroups/<resourceGroupName>/providers/Microsoft.DataFactory/factories/<dataFactoryName>/integrationruntimes/<integrationRuntimeName>

Uruchom następujące polecenie, aby pobrać klucze uwierzytelniania w celu zarejestrowania własnego środowiska Integration Runtime za pomocą usługi Data Factory w chmurze. Skopiuj jeden z kluczy (pomijając cudzysłowy) na potrzeby rejestracji własnego środowiska Integration Runtime, które zainstalujesz na swojej maszynie w następnym kroku.

Get-AzDataFactoryV2IntegrationRuntimeKey -Name $integrationRuntimeName -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName | ConvertTo-Json

Oto przykładowe dane wyjściowe:

{
    "AuthKey1":  "IR@0000000000-0000-0000-0000-000000000000@xy0@xy@xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx=",
    "AuthKey2":  "IR@0000000000-0000-0000-0000-000000000000@xy0@xy@yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy="
}

Instalowanie środowiska Integration Runtime

Pobierz środowisko Integration Runtime usługi Azure Data Factory na lokalną maszynę z systemem Windows, a następnie uruchom instalację.
Na stronie powitalnej Kreatora instalacji środowiska Microsoft Integration Runtime wybierz przycisk Dalej.
W oknie Umowa Licencyjna Użytkownika Oprogramowania zaakceptuj warunki i umowę licencyjną, a następnie wybierz przycisk Dalej.
W oknie Folder docelowy wybierz przycisk Dalej.
W oknie Gotowe do zainstalowania środowiska Microsoft Integration Runtime wybierz pozycję Zainstaluj.
W oknie zakończenia pracy z Kreatorem instalacji środowiska Microsoft Integration Runtime wybierz pozycję Zakończ.
W oknie Rejestrowanie środowiska Integration Runtime (Self-hosted) wklej klucz zapisany w poprzedniej sekcji i wybierz pozycję Zarejestruj.
W oknie Nowy węzeł Integration Runtime (self-hosted) wybierz pozycję Zakończ.
Gdy własne środowisko Integration Runtime zostanie pomyślnie zarejestrowane, zostanie wyświetlony następujący komunikat:
W oknie Rejestrowanie produktu Integration Runtime (Self-hosted) kliknij pozycję Uruchom program Configuration Manager.
Gdy węzeł zostanie połączony z usługą w chmurze, zostanie wyświetlony następujący komunikat:
Przetestuj łączność z bazą danych programu SQL Server, wykonując następujące kroki:

a. W oknie programu Configuration Manager przejdź na kartę Diagnostyka.

b. W polu Typ źródła danych wybierz pozycję SqlServer.

c. Wprowadź nazwę serwera.

d. Wprowadź nazwę bazy danych.

e. Wybierz tryb uwierzytelniania.

f. Wprowadź nazwę użytkownika.

g. Wprowadź hasło powiązane z tą nazwą użytkownika.

h. Wybierz przycisk Testuj, aby upewnić się, że środowisko Integration Runtime może połączyć się z wystąpieniem programu SQL Server.

Jeśli połączenie zostanie pomyślnie nawiązane, zostanie wyświetlona ikona zielonego znacznika wyboru. W przeciwnym razie zostanie wyświetlony komunikat o błędzie skojarzony z określonym błędem. Rozwiąż wszelkie problemy i upewnij się, że środowisko Integration Runtime może połączyć się z wystąpieniem programu SQL Server.

Zanotuj wszystkie powyższe wartości do późniejszego użycia z tym samouczkiem.

Tworzenie połączonych usług

Utwórz połączone usługi w fabryce danych w celu połączenia swoich magazynów danych i usług obliczeniowych z fabryką danych. W tym samouczku połączysz konto usługi Azure Storage i wystąpienie programu SQL Server z magazynem danych. Połączone usługi mają informacje o połączeniu, których usługa Data Factory używa w środowisku uruchomieniowym do łączenia się z nimi.

Tworzenie połączonej usługi Azure Storage (obiektu docelowego/ujścia)

W tym kroku opisano łączenie konta usługi Azure Storage z fabryką danych.

W folderze C:\ADFv2Tutorial utwórz plik JSON o nazwie AzureStorageLinkedService.json, używając poniższego kodu. Jeśli folder ADFv2Tutorial jeszcze nie istnieje, utwórz go.

Ważne

Przed zapisaniem pliku zastąp ciąg <accountName> i <accountKey> nazwą i kluczem konta usługi Azure Storage. Te wartości zapisano podczas wykonywania czynności opisanych w sekcji Wymagania wstępne.
```
{
    "name": "AzureStorageLinkedService",
    "properties": {
        "annotations": [],
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
        }
    }
}
```
W programie PowerShell przejdź do folderu C:\ADFv2Tutorial.
```
Set-Location 'C:\ADFv2Tutorial'
```
Aby utworzyć połączoną usługę o nazwie AzureStorageLinkedService, uruchom następujące polecenie cmdlet Set-AzDataFactoryV2LinkedService:
```
Set-AzDataFactoryV2LinkedService -DataFactoryName $dataFactoryName -ResourceGroupName $ResourceGroupName -Name "AzureStorageLinkedService" -File ".\AzureStorageLinkedService.json"
```
Oto przykładowe dane wyjściowe:
```
LinkedServiceName : AzureStorageLinkedService
ResourceGroupName : <resourceGroup name>
DataFactoryName   : <dataFactory name>
Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureBlobStorageLinkedService
```
Jeśli zostanie zwrócony błąd „nie znaleziono pliku”, sprawdź, czy plik istnieje, uruchamiając polecenie dir. Jeśli nazwa pliku ma rozszerzenie txt (na przykład AzureStorageLinkedService.json.txt), usuń je, a następnie ponownie uruchom polecenie programu PowerShell.

Tworzenie i szyfrowanie połączonej usługi SQL Server (źródło)

W tym kroku połączysz wystąpienie programu SQL Server z fabryką danych.

W folderze C:\ADFv2Tutorial utwórz plik JSON o nazwie SqlServerLinkedService.json, używając następującego kodu:

Ważne

Wybierz właściwą sekcję na podstawie metody uwierzytelniania używanej do nawiązywania połączenia z programem SQL Server.

Nawiązywanie połączenia przy użyciu uwierzytelniania SQL (sa):

{  
    "name":"SqlServerLinkedService",
    "type":"Microsoft.DataFactory/factories/linkedservices",
    "properties":{  
        "annotations":[  

        ],
        "type":"SqlServer",
        "typeProperties":{  
            "connectionString":"integrated security=False;data source=<serverName>;initial catalog=<databaseName>;user id=<userName>;password=<password>"
        },
        "connectVia":{  
            "referenceName":"<integration runtime name> ",
            "type":"IntegrationRuntimeReference"
        }
    }
}

Nawiązywanie połączenia przy użyciu uwierzytelniania systemu Windows:

{  
    "name":"SqlServerLinkedService",
    "type":"Microsoft.DataFactory/factories/linkedservices",
    "properties":{  
        "annotations":[  

        ],
        "type":"SqlServer",
        "typeProperties":{  
            "connectionString":"integrated security=True;data source=<serverName>;initial catalog=<databaseName>",
            "userName":"<username> or <domain>\\<username>",
            "password":{  
                "type":"SecureString",
                "value":"<password>"
            }
        },
        "connectVia":{  
            "referenceName":"<integration runtime name>",
            "type":"IntegrationRuntimeReference"
        }
    }
}

Ważne

Wybierz właściwą sekcję na podstawie metody uwierzytelniania używanej do nawiązywania połączenia z wystąpieniem programu SQL Server.
Zastąp <nazwę środowiska Integration Runtime nazwą> środowiska Integration Runtime.
Przed zapisaniem pliku zastąp wartość <servername>,< databasename>, <username> i< password> wartościami wystąpienia programu SQL Server.
Jeśli musisz użyć ukośnika odwrotnego (\) w nazwie konta użytkownika lub serwera, poprzedzić go znakiem ucieczki (\). Na przykład użyj mydomain \\myuser.

Aby zaszyfrować dane poufne (nazwę użytkownika, hasło itp.), uruchom polecenie cmdlet New-AzDataFactoryV2LinkedServiceEncryptedCredential.
To zapewnia szyfrowanie poświadczeń za pomocą interfejsu API ochrony danych (DPAPI). Zaszyfrowane poświadczenia są przechowywane lokalnie w węźle środowiska Integration Runtime (Self-hosted) (maszyna lokalna). Ładunek danych wyjściowych może zostać przekierowany do innego pliku JSON (w tym przypadku encryptedLinkedService.json), który zawiera zaszyfrowane poświadczenia.
```
New-AzDataFactoryV2LinkedServiceEncryptedCredential -DataFactoryName $dataFactoryName -ResourceGroupName $ResourceGroupName -IntegrationRuntimeName $integrationRuntimeName -File ".\SQLServerLinkedService.json" > encryptedSQLServerLinkedService.json
```

Uruchom następujące polecenie, aby utworzyć element EncryptedSqlServerLinkedService:

Set-AzDataFactoryV2LinkedService -DataFactoryName $dataFactoryName -ResourceGroupName $ResourceGroupName -Name "EncryptedSqlServerLinkedService" -File ".\encryptedSqlServerLinkedService.json"

Tworzenie zestawów danych

W tym kroku utworzysz zestawy danych wejściowych i wyjściowych. Reprezentują one dane wejściowe i wyjściowe dla operacji kopiowania, która kopiuje dane z bazy danych programu SQL Server do usługi Azure Blob Storage.

Tworzenie zestawu danych źródłowej bazy danych programu SQL Server

W tym kroku zdefiniujesz zestaw danych, który reprezentuje dane w wystąpieniu bazy danych programu SQL Server. Typ zestawu danych to SqlServerTable. Odwołuje się on do połączonej usługi programu SQL Server utworzonej w poprzednim kroku. Połączona usługa ma informacje o połączeniu, których usługa Data Factory używa do nawiązywania połączenia z wystąpieniem programu SQL Server w środowisku uruchomieniowym. Ten zestaw danych określa tabelę SQL w bazie danych, która zawiera dane. W tym samouczku dane źródłowe zawiera tabela emp.

Utwórz plik JSON o nazwie SqlServerDataset.json w folderze C:\ADFv2Tutorial, używając następującego kodu:

{  
    "name":"SqlServerDataset",
    "properties":{  
        "linkedServiceName":{  
            "referenceName":"EncryptedSqlServerLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[  

        ],
        "type":"SqlServerTable",
        "schema":[  

        ],
        "typeProperties":{  
            "schema":"dbo",
            "table":"emp"
        }
    }
}

Aby utworzyć zestaw danych SqlServerDataset, uruchom polecenie cmdlet Set-AzDataFactoryV2Dataset.

Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "SqlServerDataset" -File ".\SqlServerDataset.json"

Oto przykładowe dane wyjściowe:

DatasetName       : SqlServerDataset
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Structure         :
Properties        : Microsoft.Azure.Management.DataFactory.Models.SqlServerTableDataset

Tworzenie zestawu danych usługi Azure Blob Storage (ujścia)

W tym kroku zdefiniujesz zestaw danych reprezentujący dane, które mają zostać skopiowane do usługi Azure Blob Storage. Typ tego zestawu danych to AzureBlob. Odwołuje się on do połączonej usługi Azure Storage utworzonej wcześniej w tym samouczku.

Połączona usługa ma informacje o połączeniu, których usługa Data Factory używa w środowisku uruchomieniowym do nawiązania połączenia z kontem usługi Azure Storage. Ten zestaw danych określa folder w usłudze Azure Storage, do którego kopiowane są dane z bazy danych programu SQL Server. W tym samouczku jest to folder adftutorial/fromonprem, gdzie adftutorial to kontener obiektów blob, a fromonprem to folder.

Utwórz plik JSON o nazwie AzureBlobDataset.json w folderze C:\ADFv2Tutorial, używając następującego kodu:

{  
    "name":"AzureBlobDataset",
    "properties":{  
        "linkedServiceName":{  
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[  

        ],
        "type":"DelimitedText",
        "typeProperties":{  
            "location":{  
                "type":"AzureBlobStorageLocation",
                "folderPath":"fromonprem",
                "container":"adftutorial"
            },
            "columnDelimiter":",",
            "escapeChar":"\\",
            "quoteChar":"\""
        },
        "schema":[  

        ]
    },
    "type":"Microsoft.DataFactory/factories/datasets"
}

Aby utworzyć zestaw danych AzureBlobDataset, uruchom polecenie cmdlet Set-AzDataFactoryV2Dataset.

Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "AzureBlobDataset" -File ".\AzureBlobDataset.json"

Oto przykładowe dane wyjściowe:

DatasetName       : AzureBlobDataset
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Structure         :
Properties        : Microsoft.Azure.Management.DataFactory.Models.DelimitedTextDataset

Tworzenie potoku

W tym samouczku jest tworzony potok za pomocą działania kopiowania. Działanie kopiowania używa zestawu danych SqlServerDataset jako wejściowego zestawu danych oraz zestawu danych AzureBlobDataset jako wyjściowego zestawu danych. Typ źródła jest ustawiony na wartość SqlSource, a typ ujścia — na wartość BlobSink.

Utwórz plik JSON o nazwie SqlServerToBlobPipeline.json w folderze C:\ADFv2Tutorial, używając następującego kodu:

{  
    "name":"SqlServerToBlobPipeline",
    "properties":{  
        "activities":[  
            {  
                "name":"CopySqlServerToAzureBlobActivity",
                "type":"Copy",
                "dependsOn":[  

                ],
                "policy":{  
                    "timeout":"7.00:00:00",
                    "retry":0,
                    "retryIntervalInSeconds":30,
                    "secureOutput":false,
                    "secureInput":false
                },
                "userProperties":[  

                ],
                "typeProperties":{  
                    "source":{  
                        "type":"SqlServerSource"
                    },
                    "sink":{  
                        "type":"DelimitedTextSink",
                        "storeSettings":{  
                            "type":"AzureBlobStorageWriteSettings"
                        },
                        "formatSettings":{  
                            "type":"DelimitedTextWriteSettings",
                            "quoteAllText":true,
                            "fileExtension":".txt"
                        }
                    },
                    "enableStaging":false
                },
                "inputs":[  
                    {  
                        "referenceName":"SqlServerDataset",
                        "type":"DatasetReference"
                    }
                ],
                "outputs":[  
                    {  
                        "referenceName":"AzureBlobDataset",
                        "type":"DatasetReference"
                    }
                ]
            }
        ],
        "annotations":[  

        ]
    }
}

Aby utworzyć potok SQLServerToBlobPipeline, uruchom polecenie cmdlet Set-AzDataFactoryV2Pipeline.

Set-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "SQLServerToBlobPipeline" -File ".\SQLServerToBlobPipeline.json"

Oto przykładowe dane wyjściowe:

PipelineName      : SQLServerToBlobPipeline
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Activities        : {CopySqlServerToAzureBlobActivity}
Parameters        :

Tworzenie uruchomienia potoku

Uruchom działanie potoku dla potoku SQLServerToBlobPipeline i zapisz identyfikator działania potoku do monitorowania w przyszłości.

$runId = Invoke-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -PipelineName 'SQLServerToBlobPipeline'

Monitorowanie działania potoku

Aby stale sprawdzać stan działania potoku SQLServerToBlobPipeline, uruchom następujący skrypt w programie PowerShell, a następnie wydrukuj wynik końcowy:

while ($True) {
    $result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -PipelineRunId $runId -RunStartedAfter (Get-Date).AddMinutes(-30) -RunStartedBefore (Get-Date).AddMinutes(30)

    if (($result | Where-Object { $_.Status -eq "InProgress" } | Measure-Object).count -ne 0) {
        Write-Host "Pipeline run status: In Progress" -foregroundcolor "Yellow"
        Start-Sleep -Seconds 30
    }
    else {
        Write-Host "Pipeline 'SQLServerToBlobPipeline' run finished. Result:" -foregroundcolor "Yellow"
        $result
        break
    }
}

Oto dane wyjściowe przykładowego przebiegu:

ResourceGroupName    : <resourceGroupName>
DataFactoryName      : <dataFactoryName>
ActivityRunId        : 24af7cf6-efca-4a95-931d-067c5c921c25
ActivityName         : CopySqlServerToAzureBlobActivity
ActivityType         : Copy
PipelineRunId        : 7b538846-fd4e-409c-99ef-2475329f5729
PipelineName         : SQLServerToBlobPipeline
Input                : {source, sink, enableStaging}
Output               : {dataRead, dataWritten, filesWritten, sourcePeakConnections...}
LinkedServiceName    :
ActivityRunStart     : 9/11/2019 7:10:37 AM
ActivityRunEnd       : 9/11/2019 7:10:58 AM
DurationInMs         : 21094
Status               : Succeeded
Error                : {errorCode, message, failureType, target}
AdditionalProperties : {[retryAttempt, ], [iterationHash, ], [userProperties, {}], [recoveryStatus, None]...}

Aby uzyskać identyfikator działania potoku SQLServerToBlobPipeline i sprawdzić szczegółowe wyniki uruchomienia działania, uruchom następujące polecenie:

Write-Host "Pipeline 'SQLServerToBlobPipeline' run result:" -foregroundcolor "Yellow"
($result | Where-Object {$_.ActivityName -eq "CopySqlServerToAzureBlobActivity"}).Output.ToString()

Oto dane wyjściowe przykładowego przebiegu:

{  
    "dataRead":36,
    "dataWritten":32,
    "filesWritten":1,
    "sourcePeakConnections":1,
    "sinkPeakConnections":1,
    "rowsRead":2,
    "rowsCopied":2,
    "copyDuration":18,
    "throughput":0.01,
    "errors":[  

    ],
    "effectiveIntegrationRuntime":"ADFTutorialIR",
    "usedParallelCopies":1,
    "executionDetails":[  
        {  
            "source":{  
                "type":"SqlServer"
            },
            "sink":{  
                "type":"AzureBlobStorage",
                "region":"CentralUS"
            },
            "status":"Succeeded",
            "start":"2019-09-11T07:10:38.2342905Z",
            "duration":18,
            "usedParallelCopies":1,
            "detailedDurations":{  
                "queuingDuration":6,
                "timeToFirstByte":0,
                "transferDuration":5
            }
        }
    ]
}

Sprawdzanie danych wyjściowych

Potok automatycznie tworzy folder wyjściowy o nazwie fromonprem w kontenerze obiektów blob adftutorial. Upewnij się, że plik dbo.emp.txt jest widoczny w folderze wyjściowym.

W witrynie Azure Portal w oknie kontenera adftutorial kliknij przycisk Odśwież, aby wyświetlić folder wyjściowy.
Wybierz pozycję fromonprem na liście folderów.
Upewnij się, że jest wyświetlany plik o nazwie dbo.emp.txt.

Potok w tym przykładzie kopiuje dane z jednej lokalizacji do innej lokalizacji w usłudze Azure Blob Storage. W tym samouczku omówiono:

Tworzenie fabryki danych.
Utwórz własne środowisko Integration Runtime.
Tworzenie połączonych zestawów programu SQL Server i usługi Azure Storage.
Tworzenie zestawów danych programu SQL Server i usługi Azure Blob.
Tworzenie potoku z działaniem kopiowania do przenoszenia danych.
Uruchom potok.
Monitorowanie uruchomienia potoku.

Lista magazynów danych obsługiwanych przez usługę Data Factory znajduje się w artykule dotyczącym obsługiwanych magazynów danych.

Przejdź do poniższego samouczka, aby dowiedzieć się o zbiorczym kopiowaniu danych z lokalizacji źródłowej do docelowej:

Zbiorcze kopiowanie danych

Udostępnij za pośrednictwem

Samouczek: kopiowanie danych z bazy danych programu SQL Server do usługi Azure Blob Storage

Wymagania wstępne

Subskrypcja platformy Azure

Role na platformie Azure

Program SQL Server 2014, 2016 oraz 2017

Konto usługi Azure Storage

Pobieranie nazwy konta i klucza konta magazynu

Tworzenie kontenera adftutorial

Windows PowerShell

Instalowanie programu Azure PowerShell

Logowanie do programu PowerShell

Tworzenie fabryki danych

Tworzenie własnego środowiska Integration Runtime

Instalowanie środowiska Integration Runtime

Tworzenie połączonych usług

Tworzenie połączonej usługi Azure Storage (obiektu docelowego/ujścia)

Tworzenie i szyfrowanie połączonej usługi SQL Server (źródło)

Tworzenie zestawów danych

Tworzenie zestawu danych źródłowej bazy danych programu SQL Server

Tworzenie zestawu danych usługi Azure Blob Storage (ujścia)

Tworzenie potoku

Tworzenie uruchomienia potoku

Monitorowanie działania potoku

Sprawdzanie danych wyjściowych

Opinia

Dodatkowe zasoby

Udostępnij za pośrednictwem

Samouczek: kopiowanie danych z bazy danych programu SQL Server do usługi Azure Blob Storage

Wymagania wstępne

Subskrypcja platformy Azure

Role na platformie Azure

Program SQL Server 2014, 2016 oraz 2017

Konto usługi Azure Storage

Pobieranie nazwy konta i klucza konta magazynu

Tworzenie kontenera adftutorial

Windows PowerShell

Instalowanie programu Azure PowerShell

Logowanie do programu PowerShell

Tworzenie fabryki danych

Tworzenie własnego środowiska Integration Runtime

Instalowanie środowiska Integration Runtime

Tworzenie połączonych usług

Tworzenie połączonej usługi Azure Storage (obiektu docelowego/ujścia)

Tworzenie i szyfrowanie połączonej usługi SQL Server (źródło)

Tworzenie zestawów danych

Tworzenie zestawu danych źródłowej bazy danych programu SQL Server

Tworzenie zestawu danych usługi Azure Blob Storage (ujścia)

Tworzenie potoku

Tworzenie uruchomienia potoku

Monitorowanie działania potoku

Sprawdzanie danych wyjściowych

Powiązana zawartość

Opinia

Dodatkowe zasoby