Caricare dati in Azure Synapse Analytics usando Azure Data Factory o una pipeline Synapse

Articolo
05/15/2024

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

Azure Synapse Analytics è un database basato sul cloud con scalabilità orizzontale in grado di elaborare volumi elevati di dati, relazionali e non relazionali. Azure Synapse Analytics si basa sull'architettura MPP (Massively Parallel Processing) ottimizzata per i carichi di lavoro del data warehouse aziendale. Offre l'elasticità del cloud con la flessibilità per ridimensionare la capacità di archiviazione e di calcolo in modo indipendente.

Iniziare a usare Azure Synapse Analytics è ora più semplice che mai. Azure Data Factory e la funzionalità pipeline equivalente all'interno del servizio Azure Synapse stesso forniscono un servizio di integrazione dei dati basato sul cloud completamente gestito. È possibile usare il servizio per popolare Azure Synapse Analytics con dati provenienti dal sistema esistente e risparmiare tempo durante la compilazione di soluzioni di analisi.

Le pipeline di Azure Data Factory e Synapse offrono i vantaggi seguenti per il caricamento dei dati in Azure Synapse Analytics:

Semplicità di configurazione: procedura guidata intuitiva in 5 passaggi, senza necessità di script.
Supporto completo per archivi dati: supporto integrato per una vasta gamma di archivi dati locali e basati su cloud. Per un elenco dettagliato, vedere la tabella degli archivi dati supportati.
Sicurezza e conformità: i dati vengono trasferiti tramite HTTPS o ExpressRoute. La presenza di un servizio globale garantisce che i dati non oltrepassino mai il confine geografico.
Prestazioni senza precedenti usando PolyBase: Polybase è il modo più efficiente per spostare i dati in Azure Synapse Analytics. Usare la funzionalità del BLOB di staging per ottenere velocità di carico elevate da tutti i tipi di archivi dati, tra cui l'archiviazione BLOB di Azure e Data Lake Store. Polybase supporta l'archiviazione BLOB di Azure e Azure Data Lake Store per impostazione predefinita. Per informazioni dettagliate, vedere attività Copy prestazioni.

Questo articolo illustra come usare lo strumento Copia dati per caricare dati da database SQL di Azure in Azure Synapse Analytics. È possibile seguire una procedura simile a quella usata per copiare dati da altri tipi di archivi dati.

Nota

Per altre informazioni, vedere Copiare dati da o verso Azure Synapse Analytics.

Prerequisiti

Sottoscrizione di Azure: se non è disponibile una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
Azure Synapse Analytics: il data warehouse contiene i dati copiati dal database SQL. Se non si ha un'istanza di Azure Synapse Analytics, vedere le istruzioni in Creare un'istanza di Azure Synapse Analytics.
Database SQL di Azure: questa esercitazione copia i dati da un database SQL di Azure con dati di esempio di Adventure Works LT. È possibile creare questo database di esempio in Database SQL seguendo le istruzioni fornite in Creare un database di esempio in Database SQL di Azure.
Account di archiviazione di Azure: Archiviazione di Azure viene usato come BLOB di staging nell'operazione di copia in blocco. Se non è disponibile un account di archiviazione di Azure, vedere le istruzioni fornite in Creare un account di archiviazione.

Creare una data factory

Se non è ancora stato creato il data factory, seguire la procedura descritta in Avvio rapido: creare un data factory usando il portale di Azure e Azure Data Factory Studio per crearne uno. Dopo averlo creato, passare alla data factory nel portale di Azure.
Selezionare Apri nel riquadro Apri Azure Data Factory Studio per avviare l'applicazione Integrazione dei dati in una scheda separata.

Caricare i dati in Azure Synapse Analytics

Nella home page di Azure Data Factory o dell'area di lavoro di Azure Synapse selezionare il riquadro Inserimento per avviare lo strumento Copia dati. Scegliere quindi l'attività di copia predefinita.
Nella pagina Proprietà scegliere Attività di copia predefinita in Tipo di attività e quindi selezionare Avanti.
Nella pagina Archivio dati di origine completare la procedura seguente:

Suggerimento

In questa esercitazione si usa l'autenticazione SQL come tipo di autenticazione per l'archivio dati di origine, ma è possibile scegliere altri metodi di autenticazione supportati: Entità servizio e Identità gestita, se necessario. Per informazioni dettagliate, vedere le sezioni corrispondenti in questo articolo. Per archiviare in modo sicuro i segreti per gli archivi dati, è anche consigliabile usare il servizio Azure Key Vault. Per le spiegazioni dettagliate, vedere questo articolo.
1. Selezionare + Nuova connessione.
2. Selezionare Database SQL di Azure dalla raccolta e selezionare Continua. È possibile digitare "SQL" nella casella di ricerca per filtrare i connettori.
3. Nella pagina Nuova connessione (database SQL di Azure) selezionare il nome del server e il nome del database dall'elenco a discesa e specificare il nome utente e la password. Selezionare Test connessione per convalidare le impostazioni e quindi selezionare Crea.
4. Nella pagina Archivio dati di origine selezionare la connessione appena creata come origine nella sezione Connessione.
5. Nella sezione Tabelle di origine immettere SalesLT per filtrare le tabelle. Scegliere la casella (Seleziona tutto) per usare tutte le tabelle per la copia e quindi selezionare Avanti.
Nella pagina Applica filtro specificare le impostazioni o selezionare Avanti. È possibile visualizzare in anteprima i dati e visualizzare lo schema dei dati di input selezionando il pulsante Anteprima dati in questa pagina.
Nella pagina Archivio dati di destinazione completare la procedura seguente:

Suggerimento

In questa esercitazione si usa l'autenticazione SQL come tipo di autenticazione per l'archivio dati di destinazione, ma è possibile scegliere altri metodi di autenticazione supportati: Entità servizio e Identità gestita, se necessario. Per informazioni dettagliate, vedere le sezioni corrispondenti in questo articolo. Per archiviare in modo sicuro i segreti per gli archivi dati, è anche consigliabile usare il servizio Azure Key Vault. Per le spiegazioni dettagliate, vedere questo articolo.
1. Selezionare + Nuova connessione per aggiungere una connessione.
2. Selezionare Azure Synapse Analytics dalla raccolta e selezionare Continua.
3. Nella pagina Nuova connessione (Azure Synapse Analytics) selezionare il nome del server e il nome del database dall'elenco a discesa e specificare il nome utente e la password. Selezionare Test connessione per convalidare le impostazioni e quindi selezionare Crea.
4. Nella pagina Archivio dati di destinazione selezionare la connessione appena creata come sink nella sezione Connessione.
Nella sezione Mapping tabelle esaminare il contenuto e selezionare Avanti. Viene visualizzato un mapping intelligente delle tabelle. Viene eseguito il mapping delle tabelle di origine alle tabelle di destinazione in base ai nomi di tabella. Se non esiste una tabella di origine nella destinazione, il servizio crea una tabella di destinazione con lo stesso nome per impostazione predefinita. È anche possibile eseguire il mapping di una tabella di origine a una tabella di destinazione esistente.
Nella pagina Mapping colonne esaminare il contenuto e selezionare Avanti. Il mapping intelligente delle tabelle è basato sul nome di colonna. Se si consente al servizio di creare automaticamente le tabelle, la conversione dei tipi di dati può verificarsi in caso di incompatibilità tra gli archivi di origine e di destinazione. Se viene applicata una conversione del tipo di dati non supportata tra la colonna di origine e quella di destinazione, viene visualizzato un messaggio di errore accanto alla tabella corrispondente.
Nella pagina Impostazioni completare la procedura seguente:
1. Specificare CopyFromSQLToSQLDW per il campo Nome attività.
2. Nella sezione Impostazioni di gestione temporanea selezionare + Nuovo per una nuova risorsa di archiviazione di staging. L'archivio viene usato per eseguire lo staging dei dati prima di caricarli in Azure Synapse Analytics tramite PolyBase. Al termine della copia, i dati provvisori in Archiviazione BLOB di Azure vengono puliti automaticamente.
3. Nella pagina Nuovo servizio collegato selezionare l'account di archiviazione e selezionare Crea per distribuire il servizio collegato.
4. Deselezionare l'opzione Usa tipo predefinito e quindi selezionare Avanti.
Nella pagina Riepilogo esaminare le impostazioni e selezionare Avanti.
Nella pagina Distribuzione selezionare Monitoraggio per monitorare la pipeline (attività).
Si noti che la scheda Monitoraggio a sinistra è selezionata automaticamente. Al termine dell'esecuzione della pipeline, selezionare il collegamento CopyFromSQLToSQLDW nella colonna Nome pipeline per visualizzare i dettagli dell'esecuzione dell'attività o per rieseguire la pipeline.
- Azure Data Factory
- Azure Synapse

Per tornare alla visualizzazione delle esecuzioni di pipeline, selezionare il collegamento Tutte le esecuzioni della pipeline in alto. Selezionare Aggiorna per aggiornare l'elenco.
Per monitorare i dettagli di esecuzione per ogni attività di copia, selezionare il collegamento Dettagli (icona occhiali) in Nome attività nella visualizzazione Esecuzioni attività. È possibile monitorare dettagli come il volume dei dati copiati dall'origine al sink, la velocità effettiva dei dati, i passaggi di esecuzione con la durata corrispondente e le configurazioni usate.