Condividi tramite


Monitorare visivamente Azure Data Factory

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

Dopo aver creato e pubblicato una pipeline in Azure Data Factory, è possibile associarla a un trigger o avviare manualmente un'esecuzione ad hoc. È possibile monitorare tutte le esecuzioni della pipeline in modo nativo nell'esperienza utente di Azure Data Factory. Per aprire l'esperienza di monitoraggio, selezionare il riquadro Monitoraggio e gestione nel pannello Data factory del portale di Azure. Se si è già all'interno dell'esperienza utente di Azure Data Factory, fare clic sull'icona di monitoraggio sulla barra laterale sinistra.

Per impostazione predefinita, tutte le esecuzioni della data factory vengono visualizzate nel fuso orario locale del browser. Se si modifica il fuso orario, tutti i campi di data/ora vengono impostati sul fuso selezionato.

Monitorare le esecuzioni delle pipeline

La visualizzazione di monitoraggio predefinita è l'elenco delle esecuzioni delle pipeline attivate nel periodo di tempo selezionato. È possibile modificare l'intervallo di tempo e filtrare in base a stato, nome della pipeline o annotazione. Posizionare il puntatore del mouse sull'esecuzione della pipeline specifica per ottenere azioni specifiche dell'esecuzione, ad esempio la riesecuzione e il report sull'utilizzo.

Screenshot della visualizzazione elenco per il monitoraggio delle esecuzioni della pipeline.

La griglia delle esecuzioni delle pipeline include le colonne seguenti:

Nome colonna Descrizione
Nome pipeline Nome della pipeline
Inizio esecuzione Data e ora di inizio dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Fine esecuzione Data e ora di fine dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Durata Durata dell'esecuzione (HH:MM:SS)
Attivato da Nome del trigger che ha avviato la pipeline
Status Operazione non riuscita, Operazione completata, In corso, Annullata o In coda
Annotazioni Tag filtrabili associati a una pipeline
Parametri Parametri relativi all'esecuzione della pipeline (coppie nome-valore)
Error Errore di esecuzione se la pipeline non è riuscita
Run Originale, Riesecuzione o Riesecuzione (più recente)
ID esecuzione ID dell'esecuzione pipeline

Per aggiornare l'elenco delle esecuzioni di pipeline e attività, è necessario selezionare manualmente il pulsante Aggiorna. L'aggiornamento automatico non è attualmente supportato.

 Screenshot del pulsante Di aggiornamento.

Per visualizzare i risultati dell'esecuzione di un debug, selezionare la scheda Debug.

Screenshot dell'icona Visualizza esecuzioni di debug attive.

Monitorare le esecuzioni delle attività

Per ottenere una visualizzazione dettagliata delle singole esecuzioni attività di un'esecuzione della pipeline specifica, fare clic sul nome della pipeline.

Screenshot delle esecuzioni di attività di visualizzazione.

La visualizzazione elenco illustra le esecuzioni attività corrispondenti a ogni esecuzione della pipeline. Posizionare il puntatore del mouse sull'esecuzione attività per ottenere informazioni specifiche dell'esecuzione, ad esempio l'input JSON, l'output JSON e le esperienze di monitoraggio dettagliate specifiche dell'attività.

Screenshot delle informazioni su SalesAnalyticsMLPipeline, seguito da un elenco di esecuzioni di attività.

Nome colonna Descrizione
Nome attività Nome dell'attività all'interno della pipeline
Tipo di attività Tipo di attività, ad esempio Copy, ExecuteDataFlow o AzureMLExecutePipeline
Azioni Icone che consentono di visualizzare le informazioni di input JSON, le informazioni di output JSON o esperienze di monitoraggio dettagliate specifiche delle attività
Inizio esecuzione Data e ora di inizio dell'esecuzione attività (GG/MM/AAAA, HH:MM:SS)
Durata Durata dell'esecuzione (HH:MM:SS)
Status Operazione non riuscita, Operazione completata, In corso o Annullata
Runtime di integrazione Indica l'istanza di Integration Runtime in cui è stata eseguita l'attività
Proprietà utente Proprietà dell'attività definite dall'utente
Error Errore di esecuzione se l'attività non è riuscita
ID esecuzione ID dell'esecuzione attività

Se un'attività non è riuscita, è possibile visualizzare il messaggio di errore dettagliato facendo clic sull'icona nella colonna degli errori.

Screenshot di una notifica con i dettagli dell'errore, inclusi il codice di errore, il tipo di errore e i dettagli dell'errore.

Alzare di livello le proprietà utente per il monitoraggio

Alzare di livello qualsiasi proprietà dell'attività della pipeline e impostarla come proprietà utente in modo che diventi un'entità che è possibile monitorare. Ad esempio, è possibile alzare di livello le proprietà Origine e Destinazione dell'attività di copia nella pipeline impostandole come proprietà utente.

Nota

È possibile alzare di livello fino a cinque proprietà di attività della pipeline e impostarle come proprietà utente.

Screenshot della creazione delle proprietà utente.

Dopo aver creato le proprietà utente, è possibile monitorarle successivamente nelle visualizzazioni elenco di monitoraggio.

Screenshot dell'aggiunta di colonne per le proprietà utente all'elenco delle esecuzioni di attività.

Se l'origine per l'attività di copia è un nome di tabella, è possibile monitorare il nome di tabella di origine come una colonna nella visualizzazione elenco delle esecuzioni attività.

Screenshot dell'elenco delle esecuzioni di attività con colonne per le proprietà utente.

Eseguire di nuovo le pipeline e le attività

Il comportamento di riesecuzione delle attività del contenitore è il seguente:

  • Wait- L'attività si comporterà come in precedenza.
  • Set Variable - L'attività si comporterà come in precedenza.
  • Filter - L'attività si comporterà come in precedenza.
  • Until L'attività valuterà l'espressione e verrà riprodotta a ciclo continuo fino a quando la condizione non viene soddisfatta. Le attività interne potrebbero comunque essere ignorate in base alle regole di ripetizione delle esecuzioni.
  • Foreach L'attività verrà riprodotta a ciclo continuo sugli elementi che riceve. Le attività interne potrebbero comunque essere ignorate in base alle regole di ripetizione delle esecuzioni.
  • If and switch - Le condizioni verranno sempre valutate. Tutte le attività interne verranno valutate. Le attività interne possono comunque essere ignorate in base alle regole di riesecuzione, ma le attività come Execute Pipeline verranno rieseguite.
  • Execute pipeline activity - Verrà attivata la pipeline figlio, ma tutte le attività nella pipeline figlio potrebbero comunque essere ignorate in base alle regole di riesecuzione.

Per rieseguire dall'inizio una pipeline eseguita in precedenza, posizionare il puntatore del mouse sull'esecuzione della pipeline specifica e selezionare Riesegui. Se si selezionano più pipeline, è possibile usare il pulsante Riesegui per eseguirle tutte.

Screenshot della riesecuzione di una pipeline.

Se si desidera rieseguire una pipeline a partire da un punto specifico, è possibile farlo dalla visualizzazione delle esecuzioni attività. Selezionare l'attività da cui si desidera iniziare e selezionare Ripeti esecuzione da un'attività.

Screenshot della riesecuzione di un'esecuzione di attività.

È anche possibile rieseguire una pipeline e modificare i parametri. Selezionare il pulsante Nuovi parametri per modificare i parametri.

Screenshot della nuova esecuzione di un'attività con nuovi parametri.

Nota

La riesecuzione di una pipeline con nuovi parametri verrà considerata una nuova esecuzione della pipeline in modo che non venga visualizzata nei raggruppamenti di riesecuzione per un'esecuzione della pipeline.

Eseguire nuovamente dall'attività non riuscita

Se un'attività non riesce, raggiunge il time-out o viene annullata, è possibile eseguire nuovamente la pipeline da tale attività selezionando Esegui di nuovo nell'attività non riuscita.

Screenshot dell'attività non riuscita di riesecuzione.

Visualizzare la cronologia di riesecuzione

È possibile visualizzare la cronologia di riesecuzione per tutte le esecuzioni di pipeline nella visualizzazione elenco.

Screenshot della cronologia di visualizzazione.

È anche possibile visualizzare la cronologia di riesecuzione per una specifica esecuzione della pipeline.

Screenshot della cronologia di visualizzazione per un'esecuzione della pipeline.

Monitorare l'utilizzo

Per visualizzare le risorse utilizzate da un'esecuzione della pipeline, fare clic sull'icona del consumo accanto all'esecuzione.

Screenshot che mostra dove è possibile visualizzare le risorse utilizzate da una pipeline.

Facendo clic sull'icona viene visualizzato un report sul consumo delle risorse usate dall'esecuzione della pipeline.

Screenshot del monitoraggio dell'utilizzo.

È possibile inserire questi valori nel calcolatore dei prezzi di Azure per stimare il costo dell'esecuzione della pipeline. Per altre informazioni sui prezzi di Azure Data Factory, vedere Informazioni sui prezzi.

Nota

I valori restituiti dal calcolatore prezzi sono solo stimati e non rispecchiano l'importo esatto che verrà fatturato da Azure Data Factory

Visualizzazioni Gantt

Un diagramma di Gantt è una visualizzazione che consente di osservare la cronologia di esecuzione in un intervallo di tempo. Passando a una visualizzazione Gantt, è possibile visualizzare tutte le esecuzioni delle pipeline raggruppate per nome e mostrate come barre in base al tempo impiegato dall'esecuzione. È anche possibile raggruppare per annotazioni/tag creati nella pipeline. La visualizzazione Gantt è disponibile anche a livello di esecuzione attività.

Screenshot di un esempio di diagramma di Gantt.

La lunghezza della barra indica la durata della pipeline. È anche possibile selezionare la barra per visualizzare altri dettagli.

Screenshot della durata di un diagramma di Gantt.

Avvisi

È possibile generare avvisi sulle metriche supportate in Data Factory. Per iniziare, selezionare Monitor>Alerts & metrics (Monitoraggio > Avvisi e metriche) nella pagina di monitoraggio di Data Factory.

Screenshot della pagina Monitoraggio data factory.

Per un'introduzione di sette minuti e una dimostrazione di questa funzionalità, guardare il video seguente:

Creare avvisi

  1. Selezionare Nuova regola di avviso per creare un nuovo avviso.

    Screenshot del pulsante Nuova regola di avviso.

  2. Specificare il nome della regola e selezionare la gravità dell'avviso.

    Screenshot delle caselle per il nome e la gravità della regola.

  3. Selezionare i criteri di avviso.

    Screenshot della casella per i criteri di destinazione.

    Screenshot che mostra dove selezionare una metrica per configurare una condizione di avviso.

    Screenshot dell'elenco dei criteri.

    È possibile creare avvisi su varie metriche, tra cui quelle per il conteggio/dimensioni delle entità di Azure Data Factory, le esecuzioni di attività/pipeline/trigger, l'utilizzo della CPU del runtime di integrazione/memoria/conteggio/coda dei nodi, nonché per le esecuzioni di pacchetti SSIS e le operazioni di avvio/arresto del runtime di integrazione SSIS.

  4. Configurare la logica degli avvisi. È possibile creare un avviso per la metrica selezionata per tutte le pipeline e attività corrispondenti. È anche possibile selezionare un tipo di attività, un nome di attività, un nome di pipeline o un tipo di errore specifico.

    Screenshot delle opzioni per la configurazione della logica di avviso.

  5. Configurare notifiche tramite posta elettronica, SMS, push, voce per l'avviso. Creare un gruppo di azioni o sceglierne uno esistente per le notifiche di avviso.

    Screenshot delle opzioni per la configurazione delle notifiche.

    Screenshot delle opzioni per l'aggiunta di una notifica.

  6. Creare la regola di avviso.

    Screenshot delle opzioni per la creazione di una regola di avviso.

Per informazioni sul monitoraggio e sulla gestione delle pipeline, vedere l'articolo su come monitorare e gestire pipeline a livello di codice.